馮丹教授：近數(shù)據(jù)處理新型盤框等技術創(chuàng)新，加速數(shù)據(jù)中心向Diskless架構(gòu)演進

日前，在中國深圳舉辦的第20屆華為全球分析師大會，長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數(shù)據(jù)中心Diskless架構(gòu)及近數(shù)據(jù)處理發(fā)展趨勢做出了權威解讀，為傳統(tǒng)云存儲、大數(shù)據(jù)等計算域和存儲域不完全分離造成的資源浪費，提出了一個新的技術解決方向，幫助云和互聯(lián)網(wǎng)數(shù)據(jù)中心降本增效，實現(xiàn)數(shù)據(jù)中心高質(zhì)量演進。

馮丹教授提到，傳統(tǒng)存算融合架構(gòu)下，企業(yè)通常采用應用與本地盤耦合的服務器一體化架構(gòu)，存在存力效率低、無效數(shù)據(jù)遷移、資源浪費等典型問題：

1. 計算域和存儲域未徹底分離，仍各自存在獨立的本地存儲，往往按照最大容量預設配置，存力利用率低；

2. 采用通用算力進行數(shù)據(jù)處理，IO效率低，存儲域仍以CPU為中心，存取性能無法充分發(fā)揮；

3. 數(shù)據(jù)從盤到計算域CPU,需要8次以上數(shù)據(jù)搬遷，無效搬遷帶來了網(wǎng)絡和算力資源的浪費；

4. 在存算融合的上千節(jié)點大規(guī)模集群中，算力、容量空間配比無法均衡，擴容時需要額外遷移數(shù)據(jù)，不僅帶來現(xiàn)有業(yè)務風險，還會浪費投資；

5. 數(shù)據(jù)爆發(fā)增長，面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)縮減策略不完全適用于非結(jié)構(gòu)化場景。

隨著算力多樣化、高性能網(wǎng)絡和存儲介質(zhì)的發(fā)展，數(shù)據(jù)中心架構(gòu)從以CPU中心朝著以數(shù)據(jù)為中心的Diskless架構(gòu)演進。Diskless架構(gòu)下，單一CPU算力發(fā)展到GPU、DPU、XPU等多樣算力，算力效率得以充分發(fā)揮；網(wǎng)絡從IP、NOF發(fā)展到高通量的CXL，為算力和存力等硬件解耦奠定了基礎；存力也從傳統(tǒng)HDD到SSD，性能、功耗實現(xiàn)全面提升。在Intel、華為、KIOXIA、阿里云等業(yè)界芯片、存儲、云和互聯(lián)網(wǎng)廠商的積極推進下，Diskless架構(gòu)借助專用DPU/IPU等數(shù)據(jù)處理芯片和OceanDisk等專用存儲模塊，進一步提升數(shù)據(jù)處理和存儲的效能，充分調(diào)動數(shù)據(jù)中心資源。

馮丹教授表示，資源池化共享的Diskless架構(gòu)應具備以下關鍵技術：

1. 網(wǎng)存協(xié)同，DPU硬件卸載加速，數(shù)據(jù)高效協(xié)同處理。通過DPU等專有數(shù)據(jù)處理模塊，使服務器CPU全為應用服務，基礎設施與應用任務解耦，將VirtIO、NVMe-oF等CPU計算效率低任務轉(zhuǎn)移到DPU的專用加速器執(zhí)行，實現(xiàn)資源彈性擴展。

2. 數(shù)控分離+IO直通，實現(xiàn)控制流與IO流分離，IO直通到存儲介質(zhì)，進一步提升存儲效率。通過數(shù)控分離，可達到極致IO訪問時延，通過存儲域IO讀寫數(shù)據(jù)流與IO控制處理的分離，使得讀寫IO直通到存儲介質(zhì)中，減少IO處理路徑，降低處理復雜度，極大提升存儲域訪問性能。計算域則可以借助DPU bypass CPU，減少數(shù)據(jù)拷貝開銷，提升IO訪問性能。

3. 盤控協(xié)同，盤芯片與控制器芯片配合，提升集成度，達到最佳成本和能耗。盤控協(xié)同技術的關鍵是要實現(xiàn)高性能、低成本的大盤，通過硬件對盤控系統(tǒng)內(nèi)的算法進行加速，比如利用FPGA實現(xiàn)FTL/DIF/在線壓縮/加密/EC/GC等硬化，提升性能；盤內(nèi)和框內(nèi)的各類驅(qū)動和緩存層合一，實現(xiàn)盤框一體，構(gòu)建極致成本和能耗的大盤存儲。

4. 算子卸載，EC、數(shù)據(jù)縮減等算法通過硬件卸載到存儲端，實現(xiàn)近數(shù)據(jù)處理。通過計算語義的卸載，存儲直出語義接口，主機側(cè)軟件棧打薄，減少80%的IO交互次數(shù)，實現(xiàn)對整系統(tǒng)的CPU和網(wǎng)絡帶寬節(jié)省。同時，在大數(shù)據(jù)/數(shù)據(jù)倉庫場景，可以利用引擎的下推接口，下推謂詞和投影等運算操作到存儲資源池，減少無效數(shù)據(jù)的搬移。

馮丹教授表示：“從技術趨勢來看，高性能異構(gòu)算力、高速網(wǎng)絡、大存力新型盤框、算子卸載等技術的發(fā)展，帶來了數(shù)據(jù)中心架構(gòu)的變革，加速了以CPU為中心的耦合架構(gòu)走向徹底存算分離、資源池化共享的以數(shù)據(jù)為中心的Diskless架構(gòu)，這種架構(gòu)進一步簡化了數(shù)據(jù)中心基礎設施構(gòu)建，能夠?qū)崿F(xiàn)存力和算力資源的集約高效發(fā)展，已經(jīng)成為大規(guī)模數(shù)據(jù)中心發(fā)展的重要技術趨勢?！?/p>

極客網(wǎng)了解到，華為去年發(fā)布的OceanDisk智能盤框產(chǎn)品，就是一個標準的大存力新型盤框產(chǎn)品。

· OceanDisk通過NoF+高速網(wǎng)絡連接Diskless服務器，實現(xiàn)計算和存儲獨立彈性擴展，幫助客戶提高資源利用率，機柜空間和設備功耗分別降低40%；

· 內(nèi)置FlashLink? 智能盤框協(xié)同算法等軟硬結(jié)合技術，帶來最大250萬IOPS，50GB/s帶寬的高性能；

· 依托華為多年存儲研發(fā)實力，OceanDisk智能盤框提供硬盤亞健康管理、智能慢盤優(yōu)化等技術，保持大規(guī)模數(shù)據(jù)中心10萬級硬盤的性能穩(wěn)定，大幅降低運維難度。

OceanDisk作為業(yè)界首個面向Diskless架構(gòu)的新型盤框，將以高性能、高可靠、綠色集約重新定義下一代云和互聯(lián)網(wǎng)數(shù)據(jù)中心存儲架構(gòu)。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。