9月20日,在華為全聯(lián)接大會2024期間舉辦的數(shù)據(jù)存儲峰會上,華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士發(fā)布全新AI存儲OceanStor A800,以長記憶內(nèi)存新范式全面提升AI大模型訓練和推理能力,助力千行萬業(yè)大步邁入數(shù)智時代。
華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰
人類文明從遠古的石器時代,到農(nóng)業(yè)時代、工業(yè)時代,直至如今的數(shù)智時代,數(shù)據(jù)作為發(fā)展新質(zhì)生產(chǎn)力的關鍵生產(chǎn)要素。人們利用數(shù)據(jù),在AI大模型、具身智能、AI for science等核心AI領域取得長足發(fā)展。
數(shù)智時代是數(shù)據(jù)的黃金時代,數(shù)據(jù)規(guī)模爆炸式增長、數(shù)據(jù)價值不斷攀升的同時,也面臨xPU與存儲的帶寬不足、算力集群可用度低、推理時延長等挑戰(zhàn),對存儲提出更高要求。數(shù)智時代呼喚Storage for AI,具備極致性能、高擴展性、數(shù)據(jù)韌性、可持續(xù)發(fā)展、新數(shù)據(jù)范式以及數(shù)據(jù)編織能力的數(shù)據(jù)存儲是通往AI數(shù)智時代的必由之路。
為應對以上挑戰(zhàn),華為發(fā)布全新AI存儲OceanStor A800,在AI大模型高效訓練能力的基礎上,大幅增強推理能力,并在集群性能、新數(shù)據(jù)范式上有了跨越式提升,促進AI在千行萬業(yè)落地。
· 單套AI存儲設備支持十萬卡級大模型訓練
通過構建前端網(wǎng)卡全共享、控制器與后端SSD盤全互聯(lián)的技術架構,單套存儲設備可支持10萬卡級集群全互聯(lián)。一套OceanStor A800 存儲最多可實現(xiàn)與19.2萬卡訓練集群的靜態(tài)全連接,性能提升40%,空間占用降低80%。
· 以存強算,AI集群可用度提升30%
AI訓練中斷頻頻發(fā)生,據(jù)統(tǒng)計AI訓練中心持續(xù)訓練的時間最長僅為2.6天,導致GPU/NPU必須反復保存CKPT數(shù)據(jù)。中國移動將華為OceanStor AI存儲用于大模型訓練,實現(xiàn)150PB單存儲集群、8TB/s帶寬和2.3億IOPS的能力,集群可用度提升32%,為后續(xù)更大規(guī)模大模型訓練提供有力支撐。
· 以存代算,長記憶內(nèi)存型存儲提升推理體驗并降低系統(tǒng)成本
Long context(長上下文)成為大模型推理的必然發(fā)展趨勢,根據(jù)Scaling law,提供足夠高的推理算力和中間Token數(shù),可大幅提升推理的準確度。通過專業(yè)AI存儲,可長期保存Long context及海量中間推理Token,最大程度提升大模型的邏輯思考和推理能力,尤其是慢思考能力。
OceanStor A800作為業(yè)界首款提供長記憶能力的存儲,創(chuàng)新性采用多級KV緩存機制,將KV-Cache持久化保存并高效使用,讓大模型推理具備長記憶能力,減少在Prefill階段的重復計算,客戶推理時延降低78%,單個xPU卡的吞吐量提升67%,大幅提升推理體驗的同時降低成本。
數(shù)智時代的全新AI存儲,正在金融信貸、投研分析、醫(yī)療健康、藥物研發(fā)等行業(yè)場景發(fā)揮價值。周躍峰表示,在數(shù)據(jù)的黃金時代,華為以其創(chuàng)新的AI存儲,釋放先進數(shù)據(jù)存力,鑄就數(shù)智時代根基。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 80萬輛大眾汽車因AWS云配置錯誤導致數(shù)據(jù)泄露,包含“高精度”位置記錄
- 名創(chuàng)優(yōu)品超4000家門店接入“碰一下”支付,引爆年輕消費熱潮
- 免稅店也能用“碰一下”支付了!中免海南免稅店:碰一下就優(yōu)惠
- 報告:人工智能推動數(shù)據(jù)中心系統(tǒng)支出激增25%
- 密態(tài)計算技術助力農(nóng)村普惠金融 螞蟻密算、網(wǎng)商銀行項目入選大數(shù)據(jù)“星河”案例
- 專利糾紛升級!Netflix就虛擬機專利侵權起訴博通及VMware
- 兩大難題發(fā)布!華為啟動2024奧林帕斯獎全球征集
- 2025年工業(yè)軟件市場格局:7個關鍵統(tǒng)計數(shù)據(jù)與分析
- Commvault持續(xù)業(yè)務策略:應對現(xiàn)代數(shù)據(jù)保護挑戰(zhàn)的新范式
- 2025年網(wǎng)絡安全主要趨勢
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。