率先邁入“10微秒”時代,騰訊云存儲跑出加速度

科技云報道原創(chuàng)。

海量數(shù)據(jù)時代,大容量、低成本、易擴(kuò)容的云存儲無疑是大勢所趨。
在全球市場,以AWS、Azure等為代表的云計(jì)算廠商,正在超越傳統(tǒng)企業(yè)級存儲廠商,成為全球企業(yè)存儲市場數(shù)一數(shù)二的企業(yè)存儲供應(yīng)商。
這一事實(shí)讓人們驚訝地發(fā)現(xiàn),原來云存儲成為企業(yè)級市場事實(shí)標(biāo)準(zhǔn)的時代真的來臨了。
?
云存儲作為一項(xiàng)新興技術(shù),在過去很長一段時間內(nèi),難免被拿來與傳統(tǒng)存儲進(jìn)行對比。經(jīng)過十幾年的技術(shù)演進(jìn)和市場發(fā)展,云存儲不僅在成本上吊打傳統(tǒng)存儲,如今在傳統(tǒng)存儲引以為豪的性能方面也實(shí)現(xiàn)了超越,而這種技術(shù)性的突破率先來自騰訊云。
近日,在騰訊云存儲產(chǎn)品戰(zhàn)略發(fā)布會上,騰訊云一口氣拋出了三個業(yè)界“第一”的云存儲新品:首個10微秒級極速型云硬盤、首款突破百GB吞吐的文件存儲、首個能夠10倍提升數(shù)據(jù)湖存儲分析性能的對象存儲三級加速器,直接將云存儲的性能標(biāo)桿拉到了行業(yè)新高度。
騰訊云是如何做到的?
率先邁入“10微秒”時代騰訊云存儲有多快
?
先來看看此次騰訊云發(fā)布的存儲新品,在企業(yè)級存儲市場是什么水平?
?
在塊存儲產(chǎn)品上,騰訊云極速型云硬盤新品,時延僅有40微秒,是行業(yè)首款實(shí)現(xiàn)10微秒級時延的云硬盤產(chǎn)品。
在此之前,一般企業(yè)級云硬盤延遲在120微秒左右,而本地SSD延遲平均約為80微秒。
?
同時,在對時延很敏感的數(shù)據(jù)庫場景下,相對當(dāng)前生產(chǎn)環(huán)境中時延最優(yōu)的本地NVMe SSD硬盤性能,騰訊云極速型云硬盤能提升1.3倍。
?
除了超越本地SSD,騰訊云還推出了解決傳統(tǒng)環(huán)境存儲上云適配問題的吞吐型云硬盤,吞吐性能達(dá)到250MB/s,用戶無需更改配置即可無縫復(fù)制數(shù)據(jù)上云,其性能和成本足以替代HDD。
?
在文件存儲產(chǎn)品上,騰訊云最新一代文件存儲Turbo系列,在行業(yè)首次實(shí)現(xiàn)了百GB級吞吐,而之前行業(yè)最高水平約為幾十GB吞吐。
Turbo可支撐數(shù)萬臺主機(jī)同時并發(fā),將高性能業(yè)務(wù)讀寫效率提升10倍,千萬級IOPS和微秒級的時延也達(dá)到了業(yè)內(nèi)最高水平。
?
這種單進(jìn)程場景下的高吞吐和低延時能力,能夠很好地支撐海量數(shù)據(jù)的高速運(yùn)算、高頻交互,因此騰訊云文件存儲Turbo特別適用于高性能計(jì)算、大數(shù)據(jù)分析、AI訓(xùn)練與推理等場景。
同時,Turbo還具備擴(kuò)容的能力,可以滿足未來云上幾乎所有使用文件存儲的業(yè)務(wù)對帶寬的需求。
?
在對象存儲產(chǎn)品上,騰訊云創(chuàng)新推出了業(yè)界首個對象存儲三級加速器,包括:數(shù)據(jù)湖加速器 GooseFS、元數(shù)據(jù)加速器、AZ 加速器等產(chǎn)品能力等在內(nèi)的一站式數(shù)據(jù)加速解決方案,加速湖存儲數(shù)據(jù)流轉(zhuǎn)。
?
其中,數(shù)據(jù)湖加速器GooseFS可以提升10倍的數(shù)據(jù)IO性能,元數(shù)據(jù)加速器能夠?yàn)榇髷?shù)據(jù)業(yè)務(wù)提供高達(dá)10W QPS的元數(shù)據(jù)操作能力,AZ加速器可以為大數(shù)據(jù)業(yè)務(wù)提供Tb級別的帶寬和毫秒級的延遲。
?
騰訊云對象存儲加速器的推出,能夠很好地應(yīng)對數(shù)據(jù)湖在大規(guī)模使用場景中對時延、吞吐性能、帶寬等方面的挑戰(zhàn),優(yōu)化后的存儲速度遠(yuǎn)超主流的HDFS方案。
?
可以看到,在塊、文件和對象三大核心存儲產(chǎn)品上,騰訊云做到了存儲性能的一騎絕塵。
這意味著企業(yè)用戶不再需要被迫妥協(xié)將存儲留在自己的數(shù)據(jù)中心內(nèi),而是可以放心地將高性能的云存儲產(chǎn)品作為其IO密集型、時延敏感型應(yīng)用的首選。
這對于如今互聯(lián)網(wǎng)業(yè)務(wù)快速擴(kuò)張、數(shù)據(jù)量呈爆發(fā)式增長的企業(yè)而言,無疑是劃時代的福音。
十年蓄力?騰訊云釋放存儲勢能
?
俗話說“羅馬不是一天建成的”,騰訊云之所以能夠領(lǐng)跑云存儲市場,與深厚的內(nèi)功密不可分。
?
十年來,騰訊的存儲技術(shù)默默支撐了一個個“國民級”應(yīng)用,如:QQ、QQ相冊、QQ空間、郵件、微云、微信等內(nèi)部業(yè)務(wù)走向繁榮。
?
2005年,騰訊QQ用戶正式突破1000萬,開啟了騰訊業(yè)務(wù)的海量時代,騰訊云存儲規(guī)模首次突破一個EB。
?
2006年,騰訊迎來了第一個巨大體量業(yè)務(wù)QQ空間,所有QQ用戶的相冊圖片都存放在騰訊云存儲里。以此為契機(jī),騰訊支撐起了QQ相冊、QQ空間、郵件、微云等一系列產(chǎn)品的海量存儲需求。
?
2011年,微信上線。2014年的除夕夜,微信紅包搖一搖總次數(shù)達(dá)到110億次,峰值1400萬次/秒,朋友圈圖片分享量暴增。
騰訊存儲技術(shù)團(tuán)隊(duì)對大型緩存系統(tǒng)、延時通知等技術(shù)進(jìn)行改進(jìn),攻克了海量數(shù)據(jù)存儲調(diào)用等突發(fā)問題。
?
2019年,騰訊云自研的對象存儲專用引擎yotta上線,實(shí)現(xiàn)了超過百EB級別的存儲集群控制。
作為底層存儲引擎,yotta讓騰訊云存儲的整體能力得到了很大的提升,更成為騰訊云很多招牌產(chǎn)品的底座。
?
如今,微信用戶量已高達(dá)10億級,微信“看一看”、“微信廣告”、“微信支付”、“小程序”等業(yè)務(wù),日常對數(shù)據(jù)庫讀寫的需求早已超過10億級,其背后正是騰訊云強(qiáng)悍的存儲系統(tǒng)在支撐。
?
經(jīng)過十年蓄力,騰訊云整體存儲規(guī)模已經(jīng)超過了十個EB,文件數(shù)目超過了20萬億,服務(wù)的客戶數(shù)超過了180萬。
對于騰訊來說,無論是在十年前的消費(fèi)互聯(lián)網(wǎng)時代,還是十年后的產(chǎn)業(yè)互聯(lián)網(wǎng)時代,存儲已經(jīng)成為幾乎所有業(yè)務(wù)開展的基礎(chǔ)。
?
盡管騰訊云存儲已歷經(jīng)了數(shù)十億用戶訪問高并發(fā)、規(guī)模海量、業(yè)務(wù)多樣化的考驗(yàn),但不同的時代對云存儲的訴求仍會有所不同。
隨著企業(yè)用戶對存儲性能和成本的要求越來越高,騰訊云開始構(gòu)思面向下一代的存儲系統(tǒng),成為其不斷推陳出新的源動力,例如此次發(fā)布的“對象存儲三級加速器”就是騰訊云挑戰(zhàn)自我的創(chuàng)新之舉。
?
在數(shù)據(jù)爆炸的時代,如何低成本存儲數(shù)據(jù),如何以高性能存儲獲取業(yè)務(wù)價值,是所有企業(yè)面臨的主要挑戰(zhàn)。
由于對象存儲價格便宜、擴(kuò)容方便、計(jì)費(fèi)靈活,已經(jīng)成為各種業(yè)務(wù)作為異構(gòu)存儲默認(rèn)的選項(xiàng),數(shù)據(jù)湖的概念也越來越多地被一些企業(yè)和開發(fā)者所接受。
?
不同于傳統(tǒng)數(shù)據(jù)湖只強(qiáng)調(diào)數(shù)據(jù)湖的存儲以及解耦數(shù)據(jù)的高效處理方式,騰訊云推出的“對象存儲三級加速器”是一套“存儲+數(shù)據(jù)湖生態(tài)”方案,除了作為基礎(chǔ)存儲服務(wù)外,還提供數(shù)據(jù)湖加速,以便讓數(shù)據(jù)更快的流入計(jì)算引擎。
騰訊云副總裁 劉穎
?
但值得注意的是,要實(shí)現(xiàn)數(shù)據(jù)湖加速并不容易,據(jù)騰訊云副總裁劉穎介紹,技術(shù)上主要面臨三大挑戰(zhàn):
?
一是,計(jì)算和存儲分離以后,帶來了延遲的增高,特別是在大數(shù)據(jù)計(jì)算的場景下;
?
二是,由于對象存儲的扁平化結(jié)果,對于文件的支持類型不夠豐富,在模擬HDFS文件目錄以及目錄操作上會產(chǎn)生性能損耗;
?
三是,計(jì)算和存儲分離是為了更快地處理更多數(shù)據(jù),但往往需要特別大的帶寬,而對象存儲多AZ的部署方式,導(dǎo)致AZ之間的帶寬穿梭對網(wǎng)絡(luò)造成了很大的挑戰(zhàn)。
?
為了解決上述問題,騰訊云“對象存儲三級加速器”有針對性地推出了三款加速器:
?
數(shù)據(jù)湖加速器GooseFS分別在計(jì)算端,AZ端、存儲端提供加速能力;AZ元加速器主要針對元數(shù)據(jù)操作的加速,以解決對象存儲模擬文件系統(tǒng)的損耗;AZ加速器在各個AZ部署高速緩存集群,為數(shù)據(jù)應(yīng)用訪問COS對象存儲提供Tb級別帶寬資源和毫秒級的時延性能。
?
三級加速器,如同在數(shù)據(jù)應(yīng)用和存儲系統(tǒng)之間建立了高速公路,將數(shù)據(jù)從COS對象存儲移動到距離數(shù)據(jù)應(yīng)用更近的位置,使得數(shù)據(jù)的訪問速度有了數(shù)量級的提升。
?
在實(shí)際使用中,由于三級加速器打通了騰訊云產(chǎn)品,串聯(lián)起了云上的各類服務(wù),因此企業(yè)用戶能通過這種一體化的方案,快速簡單地實(shí)現(xiàn)數(shù)據(jù)入湖、出湖及湖上處理。
不止于快?騰訊云的存儲野心
?
此次騰訊云存儲新品“三箭齊發(fā)”,給業(yè)界最大的感受莫過于“快”。但騰訊云的野心并不止于此。
?
正如騰訊云副總裁劉穎所說:“追求一個‘快’字,是為了讓用戶感知到極致的性能,但這只是數(shù)據(jù)存儲的一方面,怎么能夠把數(shù)據(jù)用好,給用戶帶來價值和效率的提升,是我們始終追求的目標(biāo)”。
?
劉穎表示,騰訊云存儲未來將聚焦無縫上云、智能化、場景化三個方向持續(xù)進(jìn)化。
?
第一,從公有云場景拓展至私有云、混合云、云原生等場景,以更豐富的存儲產(chǎn)品形態(tài)和工具幫助用戶無縫遷移上云;
?
第二,提供更智能化的存儲服務(wù)方式,降低用戶的使用成本和運(yùn)維成本,如通過智能分層幫助用戶實(shí)現(xiàn)冷熱數(shù)據(jù)的動態(tài)切換從而降低成本,以及根據(jù)數(shù)據(jù)訪問場景智能匹配負(fù)載讓用戶無需關(guān)注性能指標(biāo)等;
?
第三,從數(shù)據(jù)價值維度提供更場景化的方案,例如:在自動駕駛、音視頻、基因測序、大數(shù)據(jù)日志等多樣化的場景下,讓用戶在存好數(shù)據(jù)的基礎(chǔ)上更好地用好數(shù)據(jù)。
?
不難發(fā)現(xiàn),“快”只是騰訊云存儲的外在標(biāo)簽,其內(nèi)核仍著眼于為用戶帶來實(shí)際的業(yè)務(wù)價值提升。這也是為什么此次騰訊云同步發(fā)布“三維生態(tài)戰(zhàn)略”的原因。
?
所謂“三維生態(tài)”,指的是圍繞技術(shù)、開源、商業(yè)三大維度,持續(xù)深耕云存儲生態(tài)發(fā)展,攜手合作伙伴打造更高可靠、更高性能的云存儲服務(wù),其目標(biāo)在于“通過生態(tài)協(xié)同的思路,幫助用戶激活數(shù)據(jù)成就商業(yè)價值,為生態(tài)伙伴合作分享商業(yè)共贏,為各行各業(yè)數(shù)字化轉(zhuǎn)型加速”,具體而言:
?
在技術(shù)生態(tài)方面,騰訊云將充分協(xié)同存儲技術(shù)合作伙伴,構(gòu)筑技術(shù)底座。比如騰訊云聯(lián)合Intel打造極速型云盤方案,在時延、IOPS等關(guān)鍵指標(biāo)上實(shí)現(xiàn)行業(yè)第一。
在開源生態(tài)層面,騰訊云將積極連接開源應(yīng)用,促進(jìn)開放協(xié)同,為用戶提供基于開源理念的開放型數(shù)據(jù)存儲方案。在商業(yè)生態(tài)層面,騰訊云將聯(lián)合國內(nèi)外最優(yōu)秀的合作伙伴,打造面向業(yè)務(wù)系統(tǒng)優(yōu)化設(shè)計(jì)的一體化聯(lián)合方案。
?
目前,騰訊云與IBM共同打造了面向數(shù)據(jù)湖、自動駕駛、機(jī)器學(xué)習(xí)、基因計(jì)算等高性能計(jì)算業(yè)務(wù)系統(tǒng),提供一體化高性能并行存儲方案;
面向在線協(xié)同辦公業(yè)務(wù)系統(tǒng),騰訊云聯(lián)合金山辦公打造在線實(shí)時文檔預(yù)覽方案;面向數(shù)據(jù)備份恢復(fù)業(yè)務(wù)系統(tǒng),騰訊云聯(lián)合鼎甲打造一體化混合云備份方案。
?
這種廣交“朋友圈”的開放態(tài)度,不僅讓騰訊云和合作伙伴實(shí)現(xiàn)了商業(yè)價值的“雙贏”,更實(shí)現(xiàn)了企業(yè)客戶買單的“三贏”。
?
在騰訊云存儲產(chǎn)品戰(zhàn)略發(fā)布會上,上海電氣系統(tǒng)與網(wǎng)絡(luò)副主任黃海表示,在上海電氣風(fēng)電集團(tuán)(以下簡稱“電氣風(fēng)電”)數(shù)字化轉(zhuǎn)型的過程中,對于風(fēng)力發(fā)電仿真計(jì)算產(chǎn)生的極大量數(shù)據(jù),存儲始終是繞不過的一個瓶頸點(diǎn),而傳統(tǒng)的基于IDC機(jī)房自建設(shè)備,已無法滿足電氣風(fēng)電在成本和運(yùn)算效率上的雙重要求。
?
基于騰訊云新一代文件存儲產(chǎn)品Turbo系列,電氣風(fēng)電的風(fēng)力發(fā)電仿真計(jì)算系統(tǒng)實(shí)現(xiàn)熱數(shù)據(jù)全共享,避免多次拷貝,計(jì)算速度相比以往提升2倍的同時,TCO(總擁有成本)也降低了40%,很好地應(yīng)對了電氣風(fēng)電高效應(yīng)對風(fēng)力發(fā)電場景的業(yè)務(wù)挑戰(zhàn)。
?
“我們使用騰訊云主要的出發(fā)點(diǎn)還是以提高經(jīng)濟(jì)效益為主,在接入騰訊云之后,可以說我們的計(jì)算有了一個質(zhì)的提升,這是我們數(shù)字化轉(zhuǎn)型中最大的一個亮點(diǎn)”,黃海表示。
上海電氣系統(tǒng)與網(wǎng)絡(luò)副主任 黃海
?
與之類似的客戶案例不勝枚舉。秦渲云業(yè)務(wù)總監(jiān)杜鵬表示,渲染業(yè)務(wù)云化發(fā)展是大勢所趨,而其中能夠滿足海量并發(fā)、超大吞吐及極低延時的高性能存儲不可或缺。
基于騰訊云新一代文件存儲Turbo系列,秦渲云在渲染場景下渲染效率提升30%,運(yùn)維管理效率提升50%,TCO降低80%,實(shí)現(xiàn)了以更低的成本和更高的效率為用戶提供優(yōu)質(zhì)的云渲染服務(wù)。
?
虎牙基礎(chǔ)保障部總經(jīng)理毛茂德認(rèn)為,基于騰訊云存儲,虎牙構(gòu)建了更加先進(jìn)的直播、大數(shù)據(jù)以及AI訓(xùn)練業(yè)務(wù),多項(xiàng)業(yè)務(wù)取得突破性的轉(zhuǎn)變,能力躋身行業(yè)前列,為虎牙全球在線直播業(yè)務(wù)提供了堅(jiān)實(shí)支撐。
結(jié)語
?
在過去的幾年里,5G、在線教育、自動駕駛、視頻直播等場景帶來的數(shù)據(jù)爆發(fā)增長,凸顯著更高的數(shù)據(jù)價值,如何利用好不斷增長的數(shù)據(jù)是企業(yè)始終要面臨的挑戰(zhàn)。
云存儲作為數(shù)據(jù)存儲和高效利用的核心基礎(chǔ)平臺,穩(wěn)定可靠、高性能、低成本將成為其必須具備的基礎(chǔ)能力。
?
正如騰訊云副總裁劉穎所說:“安全可靠、性能、成本仍然會是存儲產(chǎn)品的基石,這也將是騰訊云存儲始終精進(jìn)的技術(shù)方向。
”騰訊云存儲十年蓄力,不斷發(fā)展創(chuàng)新,才在今天交出了這份振奮人心的答卷。
?
在未來,騰訊云存儲也必將“不止于快”,而是基于自身對于應(yīng)用場景的深入理解,構(gòu)建更豐富的存儲生態(tài),持續(xù)為企業(yè)客戶賦能。
?
沖擊下一個里程碑,騰訊云存儲已在路上。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2021-05-18
率先邁入“10微秒”時代,騰訊云存儲跑出加速度
率先邁入“10微秒”時代,騰訊云存儲跑出加速度

長按掃碼 閱讀全文