在當前越來越強調云原生的環(huán)境下,存儲計算分離已經是大勢所趨。幾乎所有我們熟知的云數據庫都已經開始使用存算分離實現資源價值的最大化,比如阿里的PolarDB,AWS 的Aurora,華為GaussDB for MySQL等。大量企業(yè)自建數據中心也開始采用“開源數據庫+存算分離”的方式進行部署。
那么,我們來看看這些先進的互聯(lián)網公司和數字化轉型的企業(yè),是怎么不約而同在數據庫改造中一步步走向“存算分離”的呢?
分布式數據庫是時代的選擇
從1970年IBM的E.F Codd在論文《A Ralational Model of Data for Large Shared Data Banks》中提出的數據庫系統(tǒng)關系模型,開創(chuàng)了數據庫關系方法和關系數據理論的研究,為數據庫技術奠定了理論基礎,到1977年 Oracle數據庫發(fā)布,開啟了IBM DB2和Oracle等大型商業(yè)公司壟斷數據庫市場二十年。
直到90年代中期,隨著互聯(lián)網時代的來臨,開源數據庫MySQL,PostgreSQL的出現,這種壟斷現象才被打破,以MySQL為代表的開源數據庫開始迅速發(fā)展。
21世紀10年代,數據的井噴式增長,對數據庫提出了水平擴展,大集群規(guī)模,高并發(fā)等新訴求,緊接著隨著公有云的蓬勃發(fā)展,以云為載體兼具高可擴展性、高并發(fā)性、高可用性的分布式數據庫,如谷歌Spanner,Snowflake,AWS Aurora等逐漸走進我們的視野。
至此我們可以看到分布式數據庫的誕生是順應時代的發(fā)展,是時代的選擇。
分布式數據庫改造,存算一體部署之殤
分布式數據庫最成功的應用場景就是支撐了早期電商業(yè)務的快速發(fā)展,然而隨著企業(yè)數字化轉型的深入,數據總量和形式呈現指數級的增長,數據庫要應對的是不斷飆升的業(yè)務下高性能、高可靠的挑戰(zhàn);與此同時,不斷飆升的業(yè)務高峰還要求數據庫有極好的彈性伸縮能力、持續(xù)服務能力和合理的成本。
而原有的分布式數據庫“存算一體”,采用服務器本地盤的部署方式就越發(fā)顯得力不從心。
例如,由于計算、存儲資源捆綁,在應對如雙11這類突發(fā)資源高峰時,無法只對計算資源進行快速擴容,分布式改造后無法支持單獨彈性擴展,有悖分布式改造的初衷。同時亞馬遜、阿里等廠家在自身和云客戶的使用中也發(fā)現以服務器本地盤的方式部署,在存儲可靠性、爆炸半徑、綜合成本等方面存在難以解決的問題。
以某運營商為例,在基于MySQL開源軟件自研的數據庫使用服務器本地盤部署的模式下,計算資源(CPU和內存)與存儲資源(SSD磁盤)存在著不可調和的沖突(使用不均衡、擴容受限、運管困難等),并帶來成本的增加。
而這類問題在互聯(lián)網、金融、運營商一些云轉型企業(yè)中尤為突出:
-可靠性低:“服務器可靠性低,出問題數據無法訪問甚至就都丟了,必須用多從同步來補可靠性的缺口”,“服務器網絡抖動或磁盤亞健康問題很難監(jiān)控處理,影響系統(tǒng)穩(wěn)定性”,“服務器故障修復需要比較長時間,不能放太多實例”。
-運維困難:“更換設備或擴容需要搬遷數據庫,全量同步數據很慢”,“以前數據庫數量小,現單庫拆分成數10個實例,未來全網整改后,預計上千個實例,運維太復雜”,“原來只有兩臺小型機,現在需要20多臺機器,4、5個機柜,機房和電都不夠了”。
-成本高:“存算綁定,無法彈性擴容”,“資源閑置,CPU利用率低”,“為保證可靠性增加副本數,現有架構成本是原來的1.5倍”。
怎么去解決分布式數據庫架構上服務器本地盤部署這一系列問題呢?業(yè)界一直在不停的探索,2014年AWS首次推出了Aurora,阿里在2017年推出了PolarDB,華為云在2020年推出了GaussDB for MySQL,華為存儲也在2021年針對企業(yè)自建數據中心,推出OceanData分布式數據庫存算分離方案,希望基于成熟的基礎設施“云”化技術,解決分布式數據庫架構上的短板。
業(yè)界云原生實踐:“存算分離”,共享存儲是分布式數據庫的最優(yōu)選擇
沒有一個概念和架構是無緣無故憑空冒出來的,存算分離也是業(yè)界基于當前分布式改造的現狀和本地盤部署的弊端不斷探索出來的,更是互聯(lián)網,數字化轉型企業(yè)的共同選擇。
存算分離帶來的四大價值:
-可靠性提升:外置共享存儲可靠性結合云原生故障隔離和遷移能力,解決一體化方案可靠性短板,并為降低資源冗余提供基礎;
-資源優(yōu)化:解決數據快速移動,實現計算、存儲彈性擴展,按需分配,減少因可靠性、運維能力不足造成的硬件冗余;
-能力復用:使用共享存儲成熟的備份恢復、SSD介質延壽、亞健康等能力,快速提升數據庫整體解決方案能力,節(jié)約開發(fā)成本;
-架構先進:基于開放生態(tài)存儲底座,可快速實現云原生數據庫能力,不影響上層應用,實現平滑演進。
各行業(yè)在數字化轉型中都面臨著業(yè)務量爆炸性增長,業(yè)務互聯(lián)網化等挑戰(zhàn)。為了在新形勢下提升服務體驗,國內某運營商聯(lián)合華為開展創(chuàng)新和應用實踐,采用分布式數據庫存算分離方案構建高效BSS系統(tǒng),實現了計算、存儲資源在線彈性擴容,整體資源利用率從10%提升到50%;數據重建恢復全自動化,恢復時間從3小時縮短至5分鐘;共享存儲帶來設備級6個9高可靠。
總結
隨著5G、分布式技術、云計算技術的不斷發(fā)展,及各行業(yè)數字化轉型的不斷深入,數據庫云化、數據庫云原生架構已成為趨勢,計算、存儲分離,采用共享存儲的方式是數字化轉型的企業(yè)共同的選擇。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )