騰訊Techo開發(fā)者大會揭曉云存儲發(fā)展趨向：高性能、高可用、高性價比

產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型過程中產(chǎn)生著比過去任何一個時代都多的數(shù)據(jù)。在這樣的背景下，數(shù)據(jù)存儲技術(shù)應(yīng)該怎么發(fā)展?11月7日，在騰訊Techo開發(fā)者大會上，來自科研領(lǐng)域的專家和騰訊云存儲業(yè)務(wù)的工程師們共同揭開了云存儲的發(fā)展趨勢。

據(jù)IDC預(yù)測，全球數(shù)據(jù)總量預(yù)計2020年達到44ZB(440億TB)。隨著IT信息系統(tǒng)的不斷發(fā)展，數(shù)據(jù)在各個行業(yè)的應(yīng)用越來越廣的同時，云存儲又該如何進化滿足大數(shù)據(jù)時代的要求?華中科技大學(xué)計算機學(xué)院教授、信息存儲專委會常委、SNIA中國區(qū)專家委員會副主席謝長生在活動現(xiàn)場對存儲行業(yè)的未來發(fā)展趨勢進行了展望。

謝長生指出，主流存儲介質(zhì)從磁介質(zhì)到閃存介質(zhì)轉(zhuǎn)移的同時，也驅(qū)動了接口協(xié)議的變化。存儲行業(yè)未來將在縱向沿著Cache技術(shù)，橫向朝著分布式存儲兩個方向繼續(xù)進化。此外，包括智能存儲、支撐AI的存儲、交存內(nèi)計算、計算型存儲、類腦存儲、區(qū)塊鏈存儲等在內(nèi)的一些新興存儲技術(shù)也將迎來更大的發(fā)展際遇，在存儲的大數(shù)據(jù)時代發(fā)揮更大的作用。

萬物上云時代，云硬盤已經(jīng)成為云的基礎(chǔ)服務(wù)。騰訊技術(shù)工程事業(yè)群云硬盤專家工程師王銀虎表示，通過介質(zhì)升級，騰訊云云硬盤產(chǎn)品歷經(jīng)了普通云盤、高性能云盤、SSD云盤三大階段?；诨旌洗鎯橘|(zhì)的高性能云盤性能指標(biāo)達到了普通云盤的10倍，延遲低于5ms，高性能SSD云盤延遲甚至低于3ms。而騰訊云的下一代云硬盤——HSSD云盤則利用客戶端卸載、存儲卸載以及網(wǎng)絡(luò)卸載的技術(shù)手段，可實現(xiàn)更低的延時和高性能，目前在平臺側(cè)已將延時降低到100微秒以下。

近年來，隨著云端數(shù)據(jù)的增長，用戶對云上數(shù)據(jù)產(chǎn)生價值的需求越來越強烈，云端大數(shù)據(jù)處理的瓶頸正在逐漸凸顯。雖然業(yè)界推出了大數(shù)據(jù)存儲基于對象存儲的方案，提升了整體靈活性，但云數(shù)據(jù)的延時較高，整體大數(shù)據(jù)分析場景效率較低。在此背景下，騰訊云基于對象存儲研發(fā)了CHDFS。騰訊云騰訊云存儲研發(fā)專家工程師嚴俊明表示，騰訊云CHDFS融合了獨立的元數(shù)據(jù)管理能力和對象存儲的存儲容量的能力，擁有高效和云數(shù)據(jù)操作低延時的特性。目前騰訊云CHDFS的服務(wù)可用性已達99.9%，數(shù)據(jù)持久性可以達到99.999999999%。

另一方面，騰訊龐大的自有業(yè)務(wù)體系也為云存儲產(chǎn)品和技術(shù)提供了絕佳的實踐平臺。

微信作為一款月活用戶超過10億的國民級應(yīng)用，系統(tǒng)每天讀寫量超過數(shù)萬億，峰值時數(shù)據(jù)調(diào)用超過1億次/秒的。在海量存儲中做到高性能，進而降低成本，是其面臨的最大挑戰(zhàn)。微信事業(yè)群分布式存儲工程師鄭建軍表示，通過定制式開發(fā)的手段提升微信存儲系統(tǒng)的基本能力，使得微信的存儲性能比傳統(tǒng)模式提升了近1倍。為提升數(shù)據(jù)安全性，微信還采用了多副本存儲、實時校檢、人工排查等方式，并通過定期對齊數(shù)據(jù)副本、副本數(shù)據(jù)的跨地域容災(zāi)等手段確保數(shù)據(jù)的完整性。此外，微信還通過快速拒絕策略、非租約的Paxos、大系統(tǒng)小做以及多副本冗余等方式確保存儲服務(wù)在高峰期的可用性，目前，微信核心數(shù)據(jù)存儲服務(wù)的可用性已經(jīng)達到99.9999%的水平。

對于非常消耗存儲資源的圖片和音視頻文件在微信和微信小程序內(nèi)應(yīng)用比例越來越高的問題，騰訊云還在嘗試用更多的技術(shù)創(chuàng)新去滿足這些應(yīng)用對存儲的需求。騰訊技術(shù)工程事業(yè)群圖片業(yè)務(wù)技術(shù)副總監(jiān)孫云清表示，騰訊云通過新的圖片壓縮技術(shù)和GPU加速技術(shù)，幾年時間已經(jīng)節(jié)省了近1T的圖片帶寬;騰訊云通過設(shè)置大容量、低成本，且直接跳過了文件系統(tǒng)的緩存處理服務(wù)池，大幅減少了應(yīng)用讀取圖片和音視頻檔案時緩存的拷貝消耗，再結(jié)合IO的方式提高并發(fā)速度，大幅節(jié)省了系統(tǒng)性能，并降低了內(nèi)存的消耗。此外，騰訊云還充分結(jié)合存儲空間利用率優(yōu)化、路由IP均衡、磁盤內(nèi)存熱文件緩存等手段全力挖掘系統(tǒng)性能潛力，并充分利用騰訊云平臺上其他閑置資源進行資源彈性調(diào)配，不僅讓業(yè)務(wù)變得透明，也大幅降低了成本。

騰訊云和微信小程序團隊聯(lián)合打造的小程序·云開發(fā)也封裝了云存儲的能力，提供快速上傳和下載、CDN加速、服務(wù)端的對象管理和權(quán)限管理等底層云存儲服務(wù)。騰訊云對象存儲高級產(chǎn)品經(jīng)理賀永紅表示，通過小程序+云存儲的結(jié)合，小程序可以實現(xiàn)直接讀寫云存儲資源，服務(wù)端在管理資源同時還可同步進行AI處理。例如騰訊乘車碼出行小程通過將城市數(shù)據(jù)遷移上云儲存，實現(xiàn)大業(yè)務(wù)，小體積;香格里拉智能入住小程序通過和云儲存的結(jié)合實現(xiàn)了客戶的快速便捷智能入住;作業(yè)盒子小程序通過云存儲的AI識別實現(xiàn)在線作批改。

賀永紅介紹，目前騰訊云在云存儲的可用性、數(shù)據(jù)可靠性和QPS三大核心指標(biāo)上分別已經(jīng)達到99.95%，99.9999999999%和30000的高水準(zhǔn)，在業(yè)界遙遙領(lǐng)先。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。