近日在華為開(kāi)發(fā)者大會(huì)2021（Cloud）期間（簡(jiǎn)稱(chēng)HDC. Cloud 2021），國(guó)內(nèi)首個(gè)支持千億參數(shù)大模型訓(xùn)練的AI計(jì)算框架MindSpore 1.2正式發(fā)布。最新1.2版本帶來(lái)了AI框架領(lǐng)域 “全自動(dòng)并行、全場(chǎng)景AI、可解釋推薦模型” 三大創(chuàng)新，讓開(kāi)發(fā)者盡享AI開(kāi)發(fā)。
全自動(dòng)并行
MindSpore是業(yè)界首個(gè)基于網(wǎng)絡(luò)拓?fù)浜图嘿Y源自動(dòng)感知的全自動(dòng)并行框架，且基于全自動(dòng)并行能力已開(kāi)發(fā)業(yè)界首個(gè)2000億參數(shù)的中文預(yù)訓(xùn)練模型。
在靜態(tài)圖模式下，MindSpore融合了流水線(xiàn)并行、模型并行和數(shù)據(jù)并行三種并行技術(shù)，開(kāi)發(fā)者只需編寫(xiě)單機(jī)算法代碼，添加少量并行標(biāo)簽，即可實(shí)現(xiàn)訓(xùn)練過(guò)程的自動(dòng)切分，使得并行算法性能調(diào)優(yōu)時(shí)間從月級(jí)降為小時(shí)級(jí)，同時(shí)訓(xùn)練性能相比業(yè)界標(biāo)桿提升40%。
在動(dòng)態(tài)圖模式下，MindSpore獨(dú)特的函數(shù)式微分設(shè)計(jì)，能從一階微分輕易地?cái)U(kuò)展到高階微分，并進(jìn)行整圖性能優(yōu)化，大幅提升動(dòng)態(tài)圖性能；結(jié)合創(chuàng)新的通訊算子融合和多流并行機(jī)制，較其它AI框架，MindSpore動(dòng)態(tài)圖性能提升60%。
全場(chǎng)景AI
MindSpore實(shí)現(xiàn)了在云、邊、端不同場(chǎng)景下硬件設(shè)備的快速應(yīng)用、高效運(yùn)行與有效協(xié)同。通過(guò)全場(chǎng)景AI的能力，Huawei Watch GT的抬腕識(shí)別率提升了80%，時(shí)延小于5ms，模型小于1KB，大幅提升了用戶(hù)體驗(yàn)。
· 在云端：通過(guò)自適應(yīng)模型切分和服務(wù)內(nèi)分布式并行調(diào)度技術(shù)，可支持超大模型在多張加速卡上的推理部署，且推理性能較目前業(yè)界領(lǐng)先的serving服務(wù)方式提升30%；
· 在邊緣側(cè)：通過(guò)自適應(yīng)模型壓縮技術(shù)，將CV類(lèi)（Computer Vision 計(jì)算機(jī)視覺(jué)）模型壓縮2/3，推理時(shí)間縮短50%，用戶(hù)側(cè)實(shí)測(cè)精度損失<1%，能有效解決邊緣側(cè)算力瓶頸；
· 在端側(cè)：模型即代碼，將模型編譯到代碼里，實(shí)現(xiàn)了極小的ROM（Read-Only Memory儲(chǔ)存內(nèi)存）占用。同時(shí)，通過(guò)算子數(shù)據(jù)重排技術(shù)提升端側(cè)Cache命中率，可降低推理時(shí)延，解決在超輕量IOT設(shè)備進(jìn)行部署時(shí)受設(shè)備類(lèi)型、內(nèi)存等所限制的難題。
可解釋推薦模型
MindSpore內(nèi)置業(yè)界首個(gè)語(yǔ)義級(jí)可解釋推薦模型TB-Net，基于原創(chuàng)知識(shí)圖譜雙向傳導(dǎo)技術(shù)，從知識(shí)圖譜的海量關(guān)系路徑中，精準(zhǔn)識(shí)別影響用戶(hù)行為的核心特征和關(guān)鍵路徑，提供個(gè)性化推薦和語(yǔ)義級(jí)的解釋?zhuān)山忉屝栽u(píng)估指標(biāo)相比業(yè)界模型提升63%。
自2020年3月開(kāi)源以來(lái)，MindSpore社區(qū)擁有逾17萬(wàn)名開(kāi)發(fā)者，軟件下載量超過(guò)24萬(wàn)，在超過(guò)10個(gè)行業(yè)規(guī)模使用。此外，在碼云（Gitee）上MindSpore的代碼活躍度、影響力、社區(qū)活躍度、團(tuán)隊(duì)構(gòu)建、流行趨勢(shì)綜合排名第一。目前，MindSpore已是發(fā)展最快的AI開(kāi)源社區(qū)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
