給AI時代裝配“新大腦”：數(shù)據(jù)密集型超算帶來了哪些變革？

原標題：給AI時代裝配“新大腦”：數(shù)據(jù)密集型超算帶來了哪些變革？

這幾天，世界人工智能大會成為了行業(yè)中當之無愧的流量焦點，而媒體與分析師對這屆大會的關注點也各有不同。

我們發(fā)現(xiàn)，世界人工智能大會來到第四屆，大家關心的不再僅僅是基礎算法創(chuàng)新以及酷炫的黑科技應用。AI相關的產業(yè)基礎設施、規(guī)模化落地方案的關注度逐步增強。大家更多把AI視作一個產業(yè)結構，而非單單一種技術來加以討論。

說到AI的產業(yè)會基礎設施，就不能不提到超算。無論對于科研、行業(yè)，甚至區(qū)域發(fā)展與國家戰(zhàn)略來說，超算都是AI與相關新一代信息技術的核心。而隨著AI等技術帶來數(shù)據(jù)量大規(guī)模增長、數(shù)據(jù)結構多元化、數(shù)據(jù)分析任務復雜化，原本的HPC（高性能計算）體系也迎來了全新的變革與挑戰(zhàn)。HPC正在走向HPDA（高性能數(shù)據(jù)分析）的新方向，AI時代的超算體系正在從計算密集型轉向到數(shù)據(jù)密集型。

我們知道，人的聰明才智不僅來自反應能力，還來源于對知識、記憶、經驗的準確調取和應用。當AI要變得更聰明時，一定需要更強大的數(shù)據(jù)處理能力。數(shù)據(jù)密集型超算，可以說是社會經濟真正需要的AI大腦。

人腦中的記憶是存儲在神經元當中的，那么AI時代的超算大腦中，數(shù)據(jù)將要存儲在哪呢？

一場由數(shù)據(jù)密集型超算帶來的存儲變革正在發(fā)生。7月8日，在2021世界人工智能大會(WAIC2021)上，上海交通大學與華為公司聯(lián)合發(fā)布了數(shù)據(jù)密集型超算示范中心。這是雙方繼4月份聯(lián)合成立“高性能計算&存儲技術聯(lián)合創(chuàng)新中心”以來的又一重磅合作，開創(chuàng)了產學研一體化推動超算發(fā)展的全新模式。

讓我們以此為基礎來談一談：智能時代為什么必須發(fā)展數(shù)據(jù)密集型的“新超算”？與此同時，存儲產業(yè)又如何幫助“新超算”跨越數(shù)據(jù)裂谷？

智能時代，數(shù)據(jù)密集型超算的產業(yè)需求

自疫情發(fā)生以來，全球無數(shù)國家和地區(qū)，相繼意識到了超算能力的重要性。在確診病例、尋找治療方法以及研發(fā)疫苗的過程中，病毒與蛋白質解析能力至關重要。而相關工作就非常明顯地展現(xiàn)出了計算由計算密集型，向數(shù)據(jù)密集型轉化；由HPC向HPDA演進的必要性。

病毒解析任務中，需要快速產生海量數(shù)據(jù)，并且其結構復雜、數(shù)據(jù)形態(tài)多元。類似計算任務不僅考驗計算能力，更考驗全流程化的數(shù)據(jù)存放、調用、解析與再利用能力。如果僅僅是算得快，那么任務可能在數(shù)據(jù)的全流程循環(huán)中浪費大量時間。而疫情面前，時間就是生命。

在AI進入產業(yè)化周期的階段，類似問題出現(xiàn)在各行業(yè)的超算需求中。自動駕駛、油氣勘探、天文分析、工業(yè)數(shù)字化孿生，都清晰地指向數(shù)據(jù)密集型計算。

華為IT產品線解決方案設計部部長陳默博士認為，超算發(fā)展目前主要有6大趨勢：架構集群化、計算異構化、數(shù)據(jù)密集化、網絡IP化、運營自動化和應用容器化。這些趨勢的出現(xiàn)，不僅考驗了超算本身的算力發(fā)展，還給超算的存儲體系帶來了一系列挑戰(zhàn)。比如說：

1、超算對應的數(shù)據(jù)存儲量與存儲類型快速增加：自動駕駛、衛(wèi)星探測等任務帶來了數(shù)據(jù)量的幾何級飆升。而智慧城市、地質勘探等行業(yè)帶來了大量非結構化數(shù)據(jù)、混合類型數(shù)據(jù)的存在任務，這都對存儲體系產生了更高要求。

2、數(shù)據(jù)調用性能極大增加，要求存儲能力增強：HPDA形態(tài)下的超算體系，需要完成海量數(shù)據(jù)的短時間內大量吞吐，這對存儲性能提出了挑戰(zhàn)。

3、產業(yè)智能化趨勢，要求存儲可靠性趨向極致：在生產場景中落地的超算，需要結果高度可靠，且不能出現(xiàn)重復，更不能持續(xù)故障。這要求存儲的可靠性極高，并具有強大的自我修復與診斷能力。

4、超算中心和數(shù)據(jù)中心融合：超算體系未來將承擔更多的數(shù)據(jù)服務與數(shù)據(jù)利用職能，這就要求數(shù)據(jù)在存算場景中反復流動，快速循環(huán)，形成有效的數(shù)據(jù)湖場景。這將對現(xiàn)有存儲體系造成巨大的升級。

這些趨勢的存在和發(fā)展，意味著數(shù)據(jù)密集型超算必將建立在存儲能力的升級與進化之上。海量存儲能力升級支撐數(shù)據(jù)密集型超算與HPDA趨勢；超算升級又支撐了AI產業(yè)化發(fā)展。

這樣來看，今年我們希望在世界人工智能大會中找到的產業(yè)底座，一定蘊藏在海量存儲體系當中。

應對HPDA挑戰(zhàn)，需要存儲能力升級

為了應對數(shù)據(jù)密集型超算中出現(xiàn)的一系列數(shù)據(jù)存算挑戰(zhàn)，華為推出了OceanStor Pacific存儲，在高密設計、應對混合負載能力，以及多協(xié)議互通三大領域完成了創(chuàng)新，從而更準確滿足海量、多種類數(shù)據(jù)的快速存算需求，助力超算體系升級。

我們可以具體來看一下這三大能力是如何解決數(shù)據(jù)密集型超算所遇到挑戰(zhàn)的。

首先，HPDA的核心挑戰(zhàn)就是海量數(shù)據(jù)的涌入，以及業(yè)務量的幾何級增長，很快會造成機房空間不足、存儲成本高昂的問題，相關用戶不能無限制投入成本和空間用以存放數(shù)據(jù)。為了解決這個問題，華為推出了OeanStor Pacific高密專用硬件，基于全新的高密架構設計提供更高的容量利用率，在有限的機房空間里存下更多數(shù)據(jù)。

其次，隨著AI產業(yè)化的推進，超算體系中的一套存儲必須支持不同業(yè)務流程、產業(yè)環(huán)節(jié)的混合負載。以油氣勘探為例，過往數(shù)據(jù)采集、解釋、處理每個環(huán)節(jié)的業(yè)務能力對存儲的需求都不同，如果搭建多套存儲會造成大量遷移成本和安全風險。華為OceanStor Pacific推出了新一代分布式并行文件系統(tǒng)，從而應對混合負載挑戰(zhàn)。

再有，數(shù)據(jù)密集型超算需要讓數(shù)據(jù)在其他環(huán)節(jié)、不同系統(tǒng)之間進行復雜的循環(huán)流動，這就需要存儲具備多協(xié)議互通能力。華為OeanStor Pacific具備業(yè)界領先的多協(xié)議互通能力，能夠實現(xiàn)多個存儲服務同時訪問一份數(shù)據(jù)，提高跨環(huán)節(jié)、跨系統(tǒng)的數(shù)據(jù)分析效率。

面向數(shù)據(jù)密集型超算的產業(yè)趨勢，華為也并不僅僅是提供市場需要的產品和技術，而是與科研界、產業(yè)界走到一起，聯(lián)手探索未來超算的更多可能性。比如上海交通大學與華為聯(lián)合打造的數(shù)據(jù)密集型超算示范中心。

產學研一體，探索超算下一幕

數(shù)據(jù)密集型超算的進化，以及HPC向HPDA的演進，都不是一家企業(yè)、一個產業(yè)鏈環(huán)節(jié)能夠完成的任務，而是需要這個領域中產學研各界高效協(xié)同，更準確完成從基礎設施革新、技術創(chuàng)新到產業(yè)落地的一系列工程。

華為與上海交通大學聯(lián)手打造的數(shù)據(jù)密集型超算示范中心，就是一種有效的產學研一體化協(xié)作模式。華為OceanStor Pacific存儲對于HPDA的賦能與幫助，不應該等待產業(yè)界慢慢探索發(fā)掘，而是應該在有效的示范與引導下，確保行業(yè)用戶和超算建設方能夠準確找到切入點，實現(xiàn)投入產出比最大化。

數(shù)據(jù)密集型超算示范中心就是這樣一個產學研一體化打造的示范項目，其具有兩大創(chuàng)新點，一是國內高校建設的第一個ARM超算體系，二是在國內高校首次踐行“數(shù)據(jù)密集型超算”的建設理念。圍繞數(shù)據(jù)密集型超算的建設理念，華為與上海交大緊密協(xié)作，持續(xù)投入了相關技術與應用創(chuàng)新，并且在科研合作、人才培育等領域進行生態(tài)化合作。以此來探索超算在智能時代的有效升級路徑。

回到存儲領域，華為OceanStor Pacific存儲為數(shù)據(jù)密集型超算示范中心提供了統(tǒng)一的數(shù)據(jù)底座，對異構化算力實現(xiàn)了堅實支撐，既確保了創(chuàng)新型的超算部署成功落地，同時還增強了結果驗證能力，提升了用戶操作體驗與運行效率。

未來，數(shù)據(jù)密集型超算將在AI走入千行百業(yè)、探索技術邊界的進程里起到中堅作用。而相關的存儲能力則是眾多想象力的基礎。

我們在今年的世界人工智能大會中，不僅能夠看到對AI基礎設施的關注，甚至能看到“基礎設施的基礎設施”迎來了升級進化。

基建是無數(shù)產業(yè)發(fā)展的靈魂，我們在高速公路、高鐵上見到的故事，正在AI、存儲中又一次上演著。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。