提速存儲(chǔ)行業(yè)進(jìn)化的，竟然是阿里云

原標(biāo)題：提速存儲(chǔ)行業(yè)進(jìn)化的，竟然是阿里云

01

60多年前，世界上第一臺(tái)硬盤問世時(shí)，不知道他們是否可曾預(yù)料到今天的硬盤那么能裝。請(qǐng)注意，是臺(tái)不是塊。IBM Model 350，世界上第一臺(tái)硬盤，由50塊24英寸的磁盤構(gòu)成，總?cè)萘坎坏?MB，體積卻是兩臺(tái)冰箱的大小。而今天，單塊硬盤的最大容量已經(jīng)逼近20TB，體積卻只比手機(jī)大一些。

在半個(gè)多世紀(jì)的發(fā)展進(jìn)程中，存儲(chǔ)的進(jìn)步看在眼里，從磁盤一直到SSD，脫胎換骨的變化就有很多次。毫無疑問，作為重要的基礎(chǔ)技術(shù)組成，它和計(jì)算、網(wǎng)絡(luò)等為推動(dòng)近代的幾次信息技術(shù)革命發(fā)揮了巨大的作用。

但同時(shí)一個(gè)不可否認(rèn)的事實(shí)是，在共同進(jìn)步的過程中，存儲(chǔ)掉隊(duì)了，近些年表現(xiàn)尤甚。當(dāng)摩爾定律式微，我們看到了計(jì)算技術(shù)的百花齊放，ARM、GPU、量子計(jì)算……同樣的，網(wǎng)絡(luò)短短幾年間就從1G到10G，現(xiàn)在100G算不上新鮮事，400G已經(jīng)在路上。反觀存儲(chǔ)，從HDD不斷提高轉(zhuǎn)速、加大容量，到SSD的出現(xiàn)，提升也很可觀，但一和計(jì)算、網(wǎng)絡(luò)比就會(huì)發(fā)現(xiàn)問題。

木桶理論中，一只水桶能裝多少水取決于最短的那塊木板。計(jì)算、網(wǎng)絡(luò)跑的快，存儲(chǔ)必然拖后腿。云時(shí)代，這種差距體現(xiàn)的更明顯。你能想象SSD云盤的性能遠(yuǎn)不及本地SSD嗎？換句話說，SSD帶來的存儲(chǔ)性能變革在云上基本沒有體現(xiàn)。在云代表著未來的大背景下，這顯然是不能接受的。

存儲(chǔ)亟待一次大的創(chuàng)新，來抹平與計(jì)算、網(wǎng)絡(luò)之間的差距，特別是云上存儲(chǔ)。

02

我們正進(jìn)入一個(gè)數(shù)據(jù)井噴的時(shí)代。多年前，我們暢想車聯(lián)網(wǎng)、醫(yī)院聯(lián)網(wǎng)、工廠聯(lián)網(wǎng)……一切聯(lián)網(wǎng)。今天，在5G的助推下，AIoT時(shí)代正在加速到來。而隨著新時(shí)代的到來，首先必須面臨的一個(gè)難題就是大量數(shù)據(jù)如何解決。

有多大？IDC去年發(fā)布的《世界的數(shù)字化 從邊緣到核心》調(diào)研報(bào)告指出，全球數(shù)據(jù)量將從2018年的33ZB增至2025年的175ZB。

如何解決？把這些數(shù)據(jù)存起來倒并不難，畢竟硬盤容量越來越大。但存儲(chǔ)不是目的，數(shù)據(jù)的價(jià)值在利用，越用越有用，這對(duì)存儲(chǔ)系統(tǒng)的要求就更高了。數(shù)據(jù)得保證安全、可靠，同時(shí)要保證可用，需要的時(shí)候不掉鏈子，另外性能還得好、性價(jià)比要高……

當(dāng)把所有這些用戶需求和市場(chǎng)上的產(chǎn)品做對(duì)比時(shí)，會(huì)發(fā)現(xiàn)中間存在一個(gè)斷檔，本地SSD盤性能還可以，但是安全性、可靠性、性價(jià)比有待商榷，云盤在后幾個(gè)方面表現(xiàn)的還不錯(cuò)，但性能是最大的瓶頸。

用戶要的是能兼顧各個(gè)維度需求的產(chǎn)品，于是我們能看到存儲(chǔ)創(chuàng)新的兩個(gè)大方向，一個(gè)是本地存儲(chǔ)系統(tǒng)不斷改善安全性、可靠性、性價(jià)比，一個(gè)是云上存儲(chǔ)不斷提升性能。

因此歸根結(jié)底，存儲(chǔ)亟待一次大的革新，表面原因是它落后于計(jì)算、網(wǎng)絡(luò)技術(shù)的發(fā)展，根源則在于存儲(chǔ)技術(shù)已經(jīng)跟不上用戶需求的變化。

03

阿里云是引領(lǐng)此次存儲(chǔ)變革的中堅(jiān)力量之一。可能此前，業(yè)界更多關(guān)注的是阿里云針對(duì)AIoT領(lǐng)域發(fā)布的芯片（平頭哥玄鐵910），抑或是物聯(lián)網(wǎng)操作系統(tǒng)Alios Things。

但殊不知，阿里云在去年年初還同期推出了業(yè)界首個(gè)百萬IOPS、百微秒延時(shí)的ESSD（增強(qiáng)型SSD，也可理解為企業(yè)級(jí)SSD），只不過較長(zhǎng)一段時(shí)間內(nèi)其都處于測(cè)試、完善的狀態(tài)，并沒有太多亮相。直到今年6月28日，阿里云正式宣布ESSD商用，我們才關(guān)注到原來ESSD已經(jīng)有那么多應(yīng)用。

簡(jiǎn)單將ESSD和芯片及物聯(lián)網(wǎng)操作系統(tǒng)做個(gè)類比，如果說阿里云的芯片和物聯(lián)網(wǎng)操作系統(tǒng)在業(yè)界還有很多可以對(duì)標(biāo)的產(chǎn)品，那ESSD可以說一騎絕塵，用驚艷來形容一點(diǎn)不為過。

這里舉一個(gè)友商產(chǎn)品的參數(shù)做對(duì)比，其增強(qiáng)型SSD云盤是從2.4萬IOPS提升到了20萬IOPS，而阿里云則是直接從2萬提升到了100萬，差距之大顯而易見。

由此也就不難理解為什么業(yè)界會(huì)如此評(píng)價(jià)阿里云ESSD，說阿里云打破了存儲(chǔ)行業(yè)多年的瓶頸。同時(shí)也不難想象，一場(chǎng)關(guān)于存儲(chǔ)的軍備競(jìng)賽很快就將上演，阿里云將成為所有廠商的對(duì)標(biāo)標(biāo)的。

阿里巴巴研究員、阿里云智能存儲(chǔ)產(chǎn)品資深總監(jiān)Alex Chen

之所以這樣說，是因?yàn)檫€有一個(gè)非常殘酷的現(xiàn)實(shí)。根據(jù)IDC預(yù)測(cè)，到2020年，公共云存儲(chǔ)量將超過個(gè)人設(shè)備總存儲(chǔ)量；2022年，公共云存儲(chǔ)量超過企業(yè)數(shù)據(jù)中心總存儲(chǔ)量；2025年公共云存儲(chǔ)量占有50%總存儲(chǔ)量。落后意味著沒有未來。

04

阿里云ESSD是如何做到遠(yuǎn)超業(yè)界水準(zhǔn)的？

如果我說，阿里云ESSD首次采用智能分布式元數(shù)據(jù)管理方式，突破集群管理的能力邊界；在業(yè)內(nèi)首次將存儲(chǔ)軟件與SSD融合設(shè)計(jì)用于云存儲(chǔ)場(chǎng)景；重新定義了新型的芯片和硬件；開發(fā)了新的網(wǎng)絡(luò)協(xié)議……

你可能會(huì)覺得阿里云很牛，但其實(shí)沒有什么直觀印象。但如果借用阿里巴巴研究員、阿里云塊存儲(chǔ)產(chǎn)品資深研發(fā)總監(jiān)朱家稷的表述，相信你馬上就能明白ESSD背后的秘密，核心在于強(qiáng)大的盤古2.0分布式存儲(chǔ)引擎。

演講中，他講了一個(gè)很形象的對(duì)比，如果我們想培養(yǎng)一個(gè)世界級(jí)的運(yùn)動(dòng)員，可能會(huì)關(guān)注三方面，一是希望他有非常好的身體素質(zhì)，速度、反應(yīng)、耐力、力量都是一流的；二、教會(huì)他這個(gè)項(xiàng)目的所有技巧，能夠讓他很好的協(xié)調(diào)自己的身體，發(fā)揮最大的潛能；三、把他帶到各種世界級(jí)的大賽去磨練。

阿里云打造盤古2.0也是遵循這樣的思路，首先重新定義存儲(chǔ)的網(wǎng)絡(luò)和硬件，相當(dāng)于一個(gè)強(qiáng)健的體魄；其次，算法、架構(gòu)不斷優(yōu)化，使其能夠處理、應(yīng)對(duì)各種突發(fā)事件；最后，把它放到阿里巴巴的各種應(yīng)用場(chǎng)景里，后者擁有世界最頂級(jí)的賽場(chǎng)。

05

進(jìn)一步把阿里云的創(chuàng)新重新梳理一遍，邏輯就很清晰了。

硬件層，將存儲(chǔ)軟件與SSD融合設(shè)計(jì)；重新定義新型的芯片和硬件，比如在存儲(chǔ)芯片方面，自研Aliflash SSD，通過開放接口的方式進(jìn)一步提升存儲(chǔ)系統(tǒng)效率，再比如自研神龍服務(wù)器，通過MoC 卡提供 IO虛擬化的硬件卸載，持續(xù)加速存儲(chǔ)和網(wǎng)絡(luò)IO；開發(fā)新的網(wǎng)絡(luò)協(xié)議……

這里著重講一下網(wǎng)絡(luò)方面，存儲(chǔ)的性能和很多因素有關(guān)，而網(wǎng)絡(luò)絕對(duì)算得上關(guān)系最密切的一個(gè)，網(wǎng)絡(luò)的速度、穩(wěn)定性對(duì)存儲(chǔ)都會(huì)造成巨大的影響。

速度層面，存儲(chǔ)網(wǎng)絡(luò)從10G、25G，再到100G，以及即將到來的400G，發(fā)展很快。相較之下，穩(wěn)定性有些落后。為此阿里云自研用戶態(tài)TCP Luna，發(fā)展增強(qiáng)型的RDMA數(shù)據(jù)傳輸協(xié)議，使高性能網(wǎng)絡(luò)系統(tǒng)穩(wěn)定性大增的同時(shí)，還提升了IO性能。

另外，在向100Gbps演進(jìn)的過程中，阿里云首創(chuàng)HPCC高性能流控算法，對(duì)于保障網(wǎng)絡(luò)的穩(wěn)定性和性能的一致性有非常大的幫助。值得一提的是，這一算法核心思想還在2019年的 SIGCOMM上得到發(fā)表。

軟件層，阿里云在算法和架構(gòu)方面加入了很多創(chuàng)新，比如智能預(yù)測(cè)的技術(shù)，通過分級(jí)的智能調(diào)度，借助微妙級(jí)的多流映射QoS，能夠預(yù)防硬件的瞬時(shí)故障，實(shí)現(xiàn)快速發(fā)現(xiàn)、快速隔離，保證系統(tǒng)的可靠性、可用性。

經(jīng)過改造，然后把盤古2.0投入阿里巴巴這個(gè)大的練兵場(chǎng)，每年的雙十一就是最好的鍛煉機(jī)會(huì)。

最終，成就了盤古2.0，也成就了ESSD。如果細(xì)數(shù)每一項(xiàng)革新，看起來都比較細(xì)微，可能只是比原來好一點(diǎn)，但這么多創(chuàng)新加起來，效果就不能再用加法衡量，而變成了乘法。50倍的性能提升，不是一點(diǎn)點(diǎn)改變就能實(shí)現(xiàn)。

06

雖然正式宣布商用才1個(gè)多月，但ESSD的增長(zhǎng)是驚人的。據(jù)阿里巴巴研究員、阿里云智能存儲(chǔ)產(chǎn)品資深總監(jiān)Alex Chen介紹， 60%的阿里云頭部客戶在使用ESSD，截至當(dāng)前，ESSD的存儲(chǔ)規(guī)模已經(jīng)達(dá)到100PB。一個(gè)了不起的成就。下面舉幾個(gè)具體的應(yīng)用案例，看看ESSD能帶來什么提升：

• 全球領(lǐng)先的游戲直播分析平臺(tái)，在核心業(yè)務(wù)日志場(chǎng)景下全面使用ESSD云盤，降低業(yè)務(wù)時(shí)延90%；
• 全球第一的港口機(jī)械行業(yè)領(lǐng)導(dǎo)者，在SAP HANA上云關(guān)鍵業(yè)務(wù)中，全面使用ESSD云盤，提升性能300%；
• 亞洲領(lǐng)先的社交網(wǎng)絡(luò)公司，在彈性擴(kuò)容場(chǎng)景下，ESSD提升業(yè)務(wù)峰值性能300%；
• 國內(nèi)領(lǐng)先的互聯(lián)網(wǎng)貨運(yùn)調(diào)度平臺(tái)，在核心訂單系統(tǒng)、日志系統(tǒng)及容器場(chǎng)景下，全面使用ESSD云盤，提升關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫性能100%；
• 國內(nèi)領(lǐng)先的創(chuàng)新型金融科技公司，在分析業(yè)務(wù)應(yīng)用中使用ESSD作為TiDB的核心存儲(chǔ)，相比本地盤方案可靠性提升1萬倍；

這樣的例子還有很多。據(jù)悉，ESSD已經(jīng)大規(guī)模應(yīng)用于數(shù)據(jù)密集型行業(yè)，包括自動(dòng)駕駛、電商交易、互聯(lián)網(wǎng)直播等領(lǐng)域，并且還在快速擴(kuò)展至更多行業(yè)、更多客戶。

阿里云提速的不僅僅是這些使用ESSD的應(yīng)用場(chǎng)景，以及這些客戶的業(yè)務(wù)效率，阿里云更是在提速整個(gè)存儲(chǔ)行業(yè)的發(fā)展。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。