“算力使能，開放無限”，2023開放數(shù)據(jù)中心峰會以此為主題，在北京國際會議中心成功舉辦。
在大模型時代的服務(wù)器技術(shù)創(chuàng)新分論壇上，華為昇騰互聯(lián)網(wǎng)首席解決方案架構(gòu)師安寶磊發(fā)表主題演講，對AI大模型發(fā)展趨勢及應(yīng)用方向，華為昇騰加速大模型研發(fā)和落地的技術(shù)優(yōu)勢與生態(tài)發(fā)展進(jìn)行了全面的解讀。
從專用到通用 人工智能進(jìn)入大模型時代
2022年11月，人工智能模型ChatGPT的發(fā)布，掀起了AI熱潮，也推動AI發(fā)展跨越拐點，從“預(yù)測推斷”走向“內(nèi)容生成”。此前的AI技術(shù)發(fā)展，更多的處于專用領(lǐng)域，即感知理解世界，能夠替代低端的重復(fù)性工作。而隨著ChatGPT，尤其是GPT-4的發(fā)布，AI步入了生成和創(chuàng)造世界的發(fā)展階段，可以在通用領(lǐng)域替代較高端腦力勞動工作，不僅會思考還會學(xué)習(xí)，主要用于理解和生成。據(jù)了解，GPT-4已初步具備自主學(xué)習(xí)和思考能力，在文本/圖像/音頻/視頻/代碼等腦力勞動場景中已達(dá)到人類80%的水平。
當(dāng)人工智能進(jìn)入大模型時代，隨著AI大模型技術(shù)快速成熟，AI算法與應(yīng)用的開發(fā)、上線部署與業(yè)務(wù)發(fā)放等過程均大幅簡化，使用門檻大幅降低。在專用領(lǐng)域場景專屬化階段，可稱之為小模型時代，而隨著越來越多的場景通用化，一套AI系統(tǒng)可以使能全業(yè)務(wù)流創(chuàng)新，則預(yù)示著大模型時代的到來。安寶磊表示，隨著大模型重塑產(chǎn)業(yè)格局，未來兩年將落地50%+行業(yè)的核心場景。現(xiàn)階段所面臨的問題，在于2C應(yīng)用用戶商業(yè)付費挑戰(zhàn)較大，2B應(yīng)用在行業(yè)數(shù)據(jù)積累、模型調(diào)測和行業(yè)應(yīng)用集成等方面，均需要時間積累。
從挑戰(zhàn)到創(chuàng)新 昇騰大模型+AI集群構(gòu)筑堅實底座
大模型不僅需要算法，而且需要數(shù)據(jù)處理，軟硬件優(yōu)化、模型開發(fā)、應(yīng)用創(chuàng)新的系統(tǒng)工程能力，作為復(fù)雜系統(tǒng)工程，大模型的每個環(huán)節(jié)都存在著大量工程技術(shù)挑戰(zhàn)，其中最主要的三個關(guān)鍵挑戰(zhàn)在于：一是如何生成高質(zhì)量的數(shù)據(jù)和高質(zhì)量的模型，在模型選型、架構(gòu)調(diào)整設(shè)計、技術(shù)驗證過程設(shè)計方面非常復(fù)雜，試錯成本高;二是如何完成大規(guī)模訓(xùn)練和調(diào)優(yōu)工程，大模型訓(xùn)練對于集群穩(wěn)定性有很高的要求，如果算力平臺不穩(wěn)定，訓(xùn)練任務(wù)頻繁中斷，訓(xùn)練成果有很大損失;三是如何實現(xiàn)高效業(yè)務(wù)落地，并確保具備持續(xù)創(chuàng)新能力。對于部分企業(yè)而言，模型推理資源占用高，AI落地成本高，AI集成進(jìn)入現(xiàn)網(wǎng)業(yè)務(wù)流過程繁雜，企業(yè)缺乏業(yè)務(wù)流程及組織調(diào)整經(jīng)驗。
為解決以上挑戰(zhàn)，華為聯(lián)合伙伴推出了昇騰大模型解決方案，使能全流程開發(fā)與應(yīng)用創(chuàng)新。從數(shù)據(jù)、模型準(zhǔn)備到算力準(zhǔn)備、模型訓(xùn)練，再到模型部署和集成，解決方案均可滿足，不僅適用于多種場景，而且應(yīng)對全行業(yè)客戶需求，應(yīng)用了昇騰AI基礎(chǔ)軟硬件能力、伙伴模型以及平臺優(yōu)勢，結(jié)合生態(tài)伙伴彼此在大模型訓(xùn)練、微調(diào)和優(yōu)化方面的算法和模型能力，添加了大模型推理引擎、調(diào)優(yōu)工具和算子加速庫。方案的優(yōu)勢在于10倍集群穩(wěn)定性、20倍大模型無損壓縮、自動生成和標(biāo)注指令數(shù)據(jù)，以及首創(chuàng)混合架構(gòu)、萬億參數(shù)微調(diào)，2倍transformer計算效率，以及小時級應(yīng)用快速上線，短時延，高吞吐，高效推理部署。
大模型需要大算力，華為昇騰AI集群為大模型創(chuàng)新應(yīng)用構(gòu)筑堅實底座。從Atlas 900 PoD到Atlas 900 A2 PoD，通過產(chǎn)品的不斷更新持續(xù)迭代升級，華為可提供業(yè)界領(lǐng)先的人工智能大規(guī)模集群。通過可診斷、可衡量、可恢復(fù)的多級可靠機(jī)制，可提供10倍級提升集群系統(tǒng)穩(wěn)定性。其中，無感知斷點續(xù)訓(xùn)，可實現(xiàn)千億參數(shù)模型30分鐘無感恢復(fù)訓(xùn)練，從仿真驗證到故障檢測+診斷+預(yù)測，全面保障硬件穩(wěn)定可靠。與此同時，方案通過軟硬件原生協(xié)同設(shè)計，還可實現(xiàn)系統(tǒng)級優(yōu)化AI集群，加速大模型訓(xùn)練開發(fā)。
從深度開放到全面兼容 華為加速昇騰AI產(chǎn)業(yè)生態(tài)繁榮發(fā)展
在大模型時代，開放的生態(tài)也非常重要。昇騰AI深度開放，全面支持業(yè)界各類框架、加速庫及三方社區(qū)生態(tài)，并提供全流程遷移工具，可快速實現(xiàn)大模型和應(yīng)用的適配，目前已支持ChatGLM、LLaMA2、GPT、BLOOM等數(shù)十個業(yè)界主流大模型。同時，基于昇騰AI也原生孵化了業(yè)界首個兩千億參數(shù)的中文NLP大模型鵬程·盤古，業(yè)界首個多模態(tài)大模型紫東·太初等30+基礎(chǔ)大模型，并在各行業(yè)應(yīng)用落地。
在行業(yè)應(yīng)用領(lǐng)域，昇騰在大模型的行業(yè)落地方向探索最早，在生物醫(yī)藥、教育、遙感、電力和互聯(lián)網(wǎng)等多個行業(yè)場景實現(xiàn)了多個大模型的應(yīng)用落地。國內(nèi)的互聯(lián)網(wǎng)公司已經(jīng)在推薦廣告，搜索，內(nèi)容審核等核心業(yè)務(wù)場景越來越多的使用昇騰產(chǎn)品方案，滿足互聯(lián)網(wǎng)公司對AI算力快速增長需求的同時助力互聯(lián)網(wǎng)行業(yè)打造創(chuàng)新應(yīng)用，提升業(yè)務(wù)競爭力。在基礎(chǔ)大模型方面，昇騰孵化的基礎(chǔ)大模型涵蓋了多個技術(shù)領(lǐng)域，對各個技術(shù)方向下的大模型孵化均有積累。在大模型產(chǎn)業(yè)落地上，昇騰AI聯(lián)合產(chǎn)業(yè)鏈上下游伙伴，推動大模型技術(shù)加速落地，目前已成立多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體、智能遙感開源生態(tài)聯(lián)合體和智能流體力學(xué)產(chǎn)業(yè)聯(lián)合體，未來還計劃在智慧育種、AI生物制藥等領(lǐng)域牽引成立聯(lián)合體，促進(jìn)大模型產(chǎn)業(yè)聚合發(fā)展。
伴隨大模型帶來的生成式AI突破，人工智能正進(jìn)入一個新時代。如今，昇騰AI產(chǎn)業(yè)正在蓬勃發(fā)展中，華為攜手多家合作伙伴在互聯(lián)網(wǎng)、金融、運營商等多領(lǐng)域打造2500多個AI解決方案，提供軟硬件支持，開放AI模組、加速卡，推出形式多樣的接口開發(fā)文檔和參考設(shè)計，助推市場創(chuàng)新活動穩(wěn)步提升。面向未來，華為將通過系統(tǒng)級創(chuàng)新、堅持開源開放、深耕行業(yè)，加速昇騰人工智能產(chǎn)業(yè)生態(tài)繁榮發(fā)展，持續(xù)提升AI賦能，與伙伴聯(lián)合創(chuàng)新推進(jìn)人工智能走深向?qū)崳θ斯ぶ悄芘c各行各業(yè)深度融合，用強(qiáng)大的算力支撐人工智能高質(zhì)量的發(fā)展，為行業(yè)智能升級提供新動能。
“數(shù)智世界 一觸即達(dá)” 選擇華為，讓您的企業(yè)輕松數(shù)智化。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
