原標題:智算時代需要什么樣的存儲?
當華為、滴滴、小鵬等一眾公司近期都紛紛曬出自動駕駛汽車在復雜路況的行駛情況時,一個觸手可及的智慧時代真的是在加速到來。
在今年的浪潮數據中心合作伙伴大會(IPF)2021上,浪潮認為在一個智慧時代里,智慧應用無處不在,也帶來了指數級的計算需求,計算產業(yè)正加速進行到智算時代,同時也面臨著多元化、巨量化和生態(tài)化的挑戰(zhàn)。
事實上,伴隨著計算走向異構化、復雜化,AI模型走向巨量化,在存儲層面同樣會面臨著海量數據的誕生、存儲、管理和應用等一系列挑戰(zhàn)與問題。正如西部數據公司副總裁兼中國區(qū)業(yè)務總經理劉鋼在IPF 2021大會上所言:“高速發(fā)展的人工智能在對數字經濟產生巨大賦能和推動的同時,也推動整個計算產業(yè)往'智慧計算'方向演進,巨量模型和海量數據,對算力和存儲的需求呈指數級增長,也將推動著存儲架構走向創(chuàng)新。”
AI摩爾定律背后的一筆數據賬
過去,應用和場景通常是圍繞著業(yè)務流程展開;如今,幾乎所有的智慧應用都是通過數據和算法來驅動。
數據正在成為智算時代最核心的生產要素。隨著《十四五規(guī)劃報告》的頒布,在政策層面上推動數字時代到來、激活數據要素潛能,加快建設數字經濟、產業(yè)數字化等,為數字化的智慧應用場景掃除了最后的障礙。
在一個智慧應用井噴的時代里,解決算力需求首當其沖,但亦不能忽視背后海量數據帶來的挑戰(zhàn)。以往,計算機處理器性能通常是遵循摩爾定律,每兩年左右時間增長一倍。如今隨著人工智能應用在多個行業(yè)遍地開花,模型愈發(fā)復雜,AI在訓練和推理對于算力的需求更加渴望。根據一些機構統(tǒng)計,AI訓練所需要的算力每3.43個月就翻一倍,AI摩爾定律揭示著一個對于算力極度渴求的時代到來。
以OpenAI的GPT模型為例,GPT-1模型參數只有1.1億個,預訓練數據量為5GB,最大層數為12層,到了GPT-2,模型參數增加到15億個,預訓練數據量達到40GB,最大層數突破到48層;而去年五月發(fā)布的GPT-3,模型參數則高達1750億個,,預訓練數據量高達45TB,最大層數高達96層。無論是模型規(guī)模、數據量、訓練層數都是指數級增加。
西部數據公司副總裁兼中國區(qū)業(yè)務總經理劉鋼
僅僅一個模型在短短幾年內就發(fā)生了驚人的演進,隨著大量AI模型在行業(yè)中得到應用,隨之而來的海量數據可想而知。可以預見,在未來的智算時代中,海量數據的處理、存儲、流動與管理將面臨著極為嚴峻的挑戰(zhàn)。
以自動駕駛為例,一輛L4級的自動駕駛車輛,每天就能夠誕生高達60TB的數據,根據法規(guī)需求,這些數據還要保存至少30年以上,自動駕駛公司每天還需要不斷訓練新數據,以實現模型的優(yōu)化。光自動駕駛這一個場景的數據存儲、應用、流動和歸檔就充滿了挑戰(zhàn)。
“面對人工智能應用帶來的挑戰(zhàn),一定不能只用一種技術來解決,而是需要在存儲架構層進行創(chuàng)新?!眲撝毖缘馈?/p>
存儲架構必然走向變革
歸根結底,數字經濟的快速發(fā)展,讓智慧應用在數據類型、數據量、數據處理等方面的需求比以往有了指數級的提升。如何讓這些海量數據能夠存得下、用得快、流得動和管得好,是當下存儲架構最具挑戰(zhàn)的難題。
為此,西部數據開出了它的“組合藥方”:去中心化分布式存儲、分層存儲和分區(qū)存儲三大創(chuàng)新存儲架構。
首先,去中心化分布式存儲解決的是讓更多數據存下來的難題。眾所周知,隨著區(qū)塊鏈、人工智能等技術逐漸在業(yè)務場景中走向融合,基于這些技術的智慧應用正在數字版權、供應鏈管理、醫(yī)療健康等多個行業(yè)誕生,隨之而來的就是海量數據,而去中心化分布式存儲將大幅降低存儲成本,存儲更多數據。
其次,分層存儲解決的是讓存儲資源可以物盡其用,充分滿足數據生命周期不同階段對于存儲資源的需求。劉鋼透露,西部數據根據數據對存儲時延、容量的需求,將分層存儲架構劃分為五層:極熱存儲、熱存儲、溫存儲、冷存儲和極冷存儲,并且每一層都有對應產品來保障。
比如像一些內存計算、數據分析類的場景,對于數據處理性能極度渴望,就更加適合采用極熱存儲;而自動駕駛等AI場景,對于數據處理性能、容量都有著很高的要求,采用熱存儲就非常符合?!皩τ跇O熱存儲和熱存儲、溫存儲,西部數據都有著高性能SSD、主流SSD等不同方案來滿足需求。”劉鋼介紹道。
眾所周知,在智慧應用遍地開花的今天,閃存的容量、性能和成本正變得至關重要。尤其是當前SSD容量點正在從4TB升級到8TB的關鍵時期,對于閃存廠商的產品、技術、產能是一場大考。劉鋼直言:“如今,大規(guī)模產能對于SSD很關鍵,西部數據和鎧俠戰(zhàn)友全球三分之一的份額,可以在產能層面提供充足的保障?!?/p>
此外,西部數據在閃存上的技術也讓其在智慧應用中游刃有余,“西部數據在2月已經發(fā)布了第六代162層3D NAND技術,橫向單元陣列密度比上一代提升了10%,晶圓尺寸減少40%,IO性能提升66%,可以滿足不斷增長的數據處理性能需求?!眲撗a充道:“在充足產能和領先技術的基礎上,西部數據還在控制器、高性能固件等縱向集成上進行優(yōu)化,確保閃存在容量、性能、成本、功耗上實現最優(yōu)?!?/p>
第三個創(chuàng)新存儲架構則是分區(qū)存儲,它致力于解決性能、規(guī)模、成本等問題,不再需要去過將近28%的榮譽空間,性能和QoS大幅提升,最大程度提升了存儲規(guī)模和利用率,并且有效降低存儲的TCO。
更加重要的是,西部數據的創(chuàng)新存儲架構已經在云服務、生物醫(yī)藥、區(qū)塊鏈等多個業(yè)務場景中得到了充分實踐與考驗。
西部數據與浪潮:智算時代合作典范
面對智算時代多元化、巨量化和生態(tài)離散化的挑戰(zhàn),不是一家公司所能應對的。為此,浪潮在本次IPF大會上提出了元腦生態(tài)2.0計劃,打造智算時代開放包容生態(tài)體系,以吸納更多合作伙伴到智算產業(yè)大生態(tài)之中。
事實上,西部數據與浪潮堪稱成功合作的典范,針對智慧業(yè)務場景,雙方緊密配合,攜手打造解決方案。例如,西部數據與浪潮推出聯(lián)合解決方案,可以提供極致的存儲容量,同時降低集群的節(jié)點數量,與傳統(tǒng)方案相比,大幅降低功耗和機柜空間成本。
又如,浪潮存儲在元腦生態(tài)2.0基礎上推出了“元腦新存儲生態(tài)”,聯(lián)合各類合作伙伴構建“以用戶為中心、以應用為導向”的場景共同體,強調存儲系統(tǒng)針對智慧應用將走向場景化、細分化、個性化,這恰恰與西部數據所強調針對業(yè)務數據特性采用不同技術的觀點高度契合。未來,西部數據與浪潮存儲在元腦新存儲生態(tài)建設上同樣有著巨大的合作空間。
劉鋼在最后也表示:“西部數據與浪潮結合雙方前沿科技與產品的獨特優(yōu)勢,協(xié)力打造出高性能、低成本、且兼具穩(wěn)定性與擴展性等特點的卓越解決方案,優(yōu)化資源配置,賦能智慧計算。未來,雙方將繼續(xù)加強縱深合作,不斷以創(chuàng)新的數據存儲架構和解決方案,應對市場多樣化的需求,并攜手生態(tài)系統(tǒng)中的各方伙伴共同推動智能產業(yè)的轉型與發(fā)展,為行業(yè)用戶創(chuàng)造更多價值?!?/p>
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準AI機器人
- 微信零錢通新政策:銀行卡轉入資金提現免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領先技術與深度整合是關鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。