AI大模型訓(xùn)練需要怎樣的網(wǎng)絡(luò)？科大訊飛攜手華為樹立“以網(wǎng)強(qiáng)算”標(biāo)桿

極客網(wǎng)·極客觀察（朱飛）10月9日 ChatGPT爆火激發(fā)生成式AI熱潮，掀起 AI 大模型領(lǐng)域的“千模大戰(zhàn)”。隨著大模型訓(xùn)練愈發(fā)深入，所涉及的參數(shù)規(guī)模愈發(fā)龐大，業(yè)界發(fā)現(xiàn)在提升數(shù)據(jù)中心算力的同時(shí)，強(qiáng)化數(shù)據(jù)中心運(yùn)力也至關(guān)重要——高運(yùn)力甚至已成為釋放大算力的關(guān)鍵因素！

這不難理解，因?yàn)閷?duì)于單卡GPU等AI計(jì)算設(shè)備來說，網(wǎng)絡(luò)I/O能力已經(jīng)是制約算力充分發(fā)揮的短板；當(dāng)大模型進(jìn)入千卡萬卡集群時(shí)代后，大規(guī)模系統(tǒng)的算力性能和穩(wěn)定性自然更加受到網(wǎng)絡(luò)能力的制約。也就是說，網(wǎng)絡(luò)吞吐率往往決定AI的算力性能，網(wǎng)絡(luò)可靠性則決定AI訓(xùn)練的穩(wěn)定性。

如何破局？在9月20日開幕的華為全聯(lián)接大會(huì)2023期間，科大訊飛攜手華為數(shù)據(jù)中心網(wǎng)絡(luò)宣布啟動(dòng)AI運(yùn)力底座聯(lián)合創(chuàng)新項(xiàng)目，同時(shí)分享了雙方在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域的合作成果，為業(yè)界呈現(xiàn)了一個(gè)面向AI大模型場(chǎng)景的高運(yùn)力底座解決方案及應(yīng)用實(shí)踐。

訊飛識(shí)別大模型訓(xùn)練三大網(wǎng)絡(luò)挑戰(zhàn)：大規(guī)模，高吞吐，高可靠

在千帆競(jìng)技的大模型賽道，作為AI龍頭企業(yè)科大訊飛推出的新一代認(rèn)知智能大模型，訊飛星火認(rèn)知大模型已經(jīng)名聲在外。在近期新華社研究院中國企業(yè)發(fā)展研究中心發(fā)布的《人工智能大模型體驗(yàn)報(bào)告2.0》，訊飛星火位列國產(chǎn)主流大模型測(cè)評(píng)榜首位。而在《麻省理工科技評(píng)論》中國發(fā)布的大模型評(píng)測(cè)報(bào)告中，訊飛星火更是被評(píng)為“最聰明”的國產(chǎn)大模型。

據(jù)科大訊飛基礎(chǔ)設(shè)施總監(jiān)張驍介紹，在訊飛星火認(rèn)知大模型的訓(xùn)練過程中，團(tuán)隊(duì)識(shí)別到AI訓(xùn)練對(duì)于網(wǎng)絡(luò)的訴求可以歸納為三個(gè)詞：大規(guī)模，高吞吐，高可靠。

首先是大規(guī)模。AI大模型訓(xùn)練涉及的參數(shù)規(guī)模動(dòng)則百億千億甚至萬億，這需要AI集群調(diào)動(dòng)各計(jì)算節(jié)點(diǎn)資源，通過高速網(wǎng)絡(luò)實(shí)現(xiàn)互聯(lián)互通、相互協(xié)作才能完成訓(xùn)練任務(wù)。這意味著，無論是節(jié)點(diǎn)內(nèi)部還是節(jié)點(diǎn)之間，都需要強(qiáng)大的網(wǎng)絡(luò)去實(shí)現(xiàn)規(guī)模組網(wǎng)及高效部署。

其次高吞吐。集群架構(gòu)下的AI大模型訓(xùn)練場(chǎng)景中會(huì)存在負(fù)載不均衡的情況，且設(shè)備網(wǎng)絡(luò)規(guī)模越大，傳統(tǒng)負(fù)載方式?jīng)_突會(huì)越嚴(yán)重。要想充分發(fā)揮各節(jié)點(diǎn)的強(qiáng)大算力提升AI訓(xùn)練效率，就必須確保網(wǎng)絡(luò)的高吞吐率。這類似于，要想提高車輛的運(yùn)行速度，在拓寬道路的基礎(chǔ)上，還需要解決堵車的難題。

再次是高可靠。大模型訓(xùn)練是一個(gè)復(fù)雜的系統(tǒng)工程，從數(shù)據(jù)準(zhǔn)備、模型預(yù)訓(xùn)練到模型訓(xùn)練，系統(tǒng)穩(wěn)定運(yùn)行十分重要，一旦出現(xiàn)網(wǎng)絡(luò)故障導(dǎo)致訓(xùn)練中斷將代價(jià)不菲，因而高可靠的網(wǎng)絡(luò)基礎(chǔ)設(shè)施是長(zhǎng)穩(wěn)訓(xùn)練的關(guān)鍵。

“星河”聯(lián)“星火”，華為星河AI網(wǎng)絡(luò)加速訊飛星火大模型訓(xùn)練

為了提升AI大模型的組網(wǎng)規(guī)模及其部署效率、AI訓(xùn)練效率、AI訓(xùn)練網(wǎng)絡(luò)可靠性，科大訊飛與華為數(shù)據(jù)中心網(wǎng)絡(luò)聯(lián)合創(chuàng)新，利用后者創(chuàng)新的星河AI網(wǎng)絡(luò)解決方案構(gòu)筑一個(gè)大規(guī)模、高吞吐、高可靠的AI高性能數(shù)據(jù)中心網(wǎng)絡(luò)，保障了AI大模型高效、穩(wěn)定、可靠的訓(xùn)練。

首先，訊飛星火認(rèn)知大模型采用華為數(shù)據(jù)中心交換機(jī)構(gòu)建超大規(guī)模組網(wǎng)，支持了萬億參數(shù)的大規(guī)模訓(xùn)練。星河AI網(wǎng)絡(luò)解決方案采用業(yè)界最高密的400GE和800GE接口，可以支持高達(dá)18000卡的大規(guī)模集群組網(wǎng)。

其次，訊飛星火認(rèn)知大模型采用華為獨(dú)創(chuàng)的AI加速器，基于華為獨(dú)創(chuàng)的全局負(fù)載均衡NSLB算法、自動(dòng)化開局和全?？梢曔\(yùn)維技術(shù)實(shí)現(xiàn)算網(wǎng)實(shí)時(shí)協(xié)同調(diào)度，在提高網(wǎng)絡(luò)吞吐的同時(shí)，能將網(wǎng)絡(luò)有效吞吐從業(yè)界的50%提升到98%，將大模型訓(xùn)練效率提升20%（內(nèi)部測(cè)試數(shù)據(jù)效果）。

再次，訊飛星火認(rèn)知大模型依托華為獨(dú)家網(wǎng)絡(luò)數(shù)字地圖，使能計(jì)算網(wǎng)絡(luò)一體化運(yùn)維，通信異常一鍵診斷，將訓(xùn)中排障效率提升了90%，大幅提高了訓(xùn)練的可靠性。

在高運(yùn)力底座的加持下，依托在通用人工智能領(lǐng)域的持續(xù)深耕和系統(tǒng)性創(chuàng)新，科大訊飛于今年5月6日正式發(fā)布星火認(rèn)知大模型，并在6月9日迅速完成迭代升級(jí)，又于8月15日重磅發(fā)布訊飛星火V2.0，以驚人的速度實(shí)現(xiàn)了AI大模型的快速訓(xùn)練與能力躍遷。

9月5日，訊飛星火認(rèn)知大模型正式開放全民使用，14小時(shí)用戶數(shù)便突破100萬，迅速登上AppStore免費(fèi)總排行榜第一。如今的訊飛星火認(rèn)知大模型，已經(jīng)具有文本生成、語言理解、知識(shí)問答、邏輯推理、數(shù)學(xué)能力、代碼能力、多模態(tài)能力等7大核心能力，擁有跨領(lǐng)域的知識(shí)和語言理解能力，能夠基于自然對(duì)話方式理解與執(zhí)行任務(wù)。

強(qiáng)強(qiáng)聯(lián)合繼往開來，引領(lǐng)AI模型高性能、高安全網(wǎng)絡(luò)創(chuàng)新突破

面向未來，為了抓住AI發(fā)展浪潮契機(jī)，搶占產(chǎn)業(yè)制高點(diǎn)，科大訊飛和華為數(shù)據(jù)中心網(wǎng)絡(luò)繼續(xù)深化合作，共同探索產(chǎn)業(yè)發(fā)展的新道路。為此，雙方在本屆華為全聯(lián)接大會(huì)期間正式宣布“雙子星計(jì)劃”，啟動(dòng)AI運(yùn)力底座聯(lián)合創(chuàng)新項(xiàng)目，共同打造面對(duì)AI大模型場(chǎng)景的最佳數(shù)據(jù)中心網(wǎng)絡(luò)解決方案。

根據(jù)計(jì)劃，科大訊飛和華為數(shù)據(jù)中心網(wǎng)絡(luò)、華為網(wǎng)絡(luò)安全將繼續(xù)攜手在AI高性能網(wǎng)絡(luò)的快速部署、極致吞吐、高效運(yùn)維、安全可靠等四個(gè)方向上尋求突破。三方將凝心聚力，共同推動(dòng)AI大模型創(chuàng)新變革，為AI大模型接入訪問保駕護(hù)航，通過行業(yè)實(shí)踐和驗(yàn)證加快AI產(chǎn)業(yè)化落地，引領(lǐng)社會(huì)發(fā)展的新進(jìn)程。

例如，隨著越來越多用戶通過各種智能應(yīng)用接入訪問AI大模型，面向智算中心與海量用戶之間的高效互聯(lián)，雙方將致力于構(gòu)建彈性高并發(fā)的網(wǎng)絡(luò)能力，支持彈性多路徑調(diào)度算法，從而使得網(wǎng)絡(luò)通信的性能最大化，有效地解決網(wǎng)絡(luò)擁塞問題，減少網(wǎng)絡(luò)延遲，提高網(wǎng)絡(luò)通信的可靠性，使得即使是在遙遠(yuǎn)的鄉(xiāng)鎮(zhèn)山村也能順暢享受AI的魅力。

會(huì)上，華為還聯(lián)合中國信息通信研究院、科大訊飛正式發(fā)布了《星河AI網(wǎng)絡(luò)白皮書》(以下簡(jiǎn)稱白皮書)，闡述了星河AI網(wǎng)絡(luò)在AI大規(guī)模參數(shù)計(jì)算場(chǎng)景下的廣泛應(yīng)用前景，并從AI業(yè)務(wù)的發(fā)展趨勢(shì)、網(wǎng)絡(luò)架構(gòu)和關(guān)鍵技術(shù)創(chuàng)新三個(gè)方面展示星河AI網(wǎng)絡(luò)在人工智能產(chǎn)業(yè)的技術(shù)領(lǐng)導(dǎo)力，為構(gòu)建面向AI大模型的高性能訓(xùn)練網(wǎng)絡(luò)提供參考。

小結(jié)：

智能經(jīng)濟(jì)是數(shù)字經(jīng)濟(jì)發(fā)展的新階段。有報(bào)告預(yù)測(cè)，到2030年，全球智能經(jīng)濟(jì)的價(jià)值將達(dá)到18.8萬億美元。對(duì)于驅(qū)動(dòng)智能未來的關(guān)鍵要素，業(yè)界已基本達(dá)成共識(shí)：AI大模型將決定智能經(jīng)濟(jì)的高度，數(shù)據(jù)價(jià)值挖掘決定智能經(jīng)濟(jì)的深度，而運(yùn)力、算力和存力協(xié)同發(fā)展則將決定智能經(jīng)濟(jì)的厚度。

從中可見，科大訊飛攜手華為構(gòu)筑AI大模型高運(yùn)力底座，是在面向AI大模型掀起的智能經(jīng)濟(jì)大浪潮，“以網(wǎng)強(qiáng)算”加速行業(yè)智能化，即以高運(yùn)力釋放AI時(shí)代的高算力，賦能千行百業(yè)智能化躍遷。相信隨著“雙子星計(jì)劃”的深入推進(jìn)，雙方必將能為業(yè)界構(gòu)筑更好的AI大模型高運(yùn)力底座，加速釋放智能經(jīng)濟(jì)的巨大價(jià)值！

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。