迎雙11十周年，OceanBase 2.0挑戰(zhàn)新巔峰

2018年是“雙11”十周年。2009年11月11日，當(dāng)時(shí)的淘寶商城(天貓的前身)舉辦了首屆網(wǎng)絡(luò)促銷(xiāo)活動(dòng)，當(dāng)天銷(xiāo)售額為0.5億元;2017年的雙11，天貓、淘寶總成交額1682億元，創(chuàng)造了25.6萬(wàn)筆/秒的新支付峰值，數(shù)據(jù)庫(kù)處理峰值達(dá)4200萬(wàn)次/秒。2017雙11開(kāi)始后的7分23秒，支付寶的支付筆數(shù)突破1億筆，相當(dāng)于5年前雙11全天支付總筆數(shù)!

對(duì)于阿里來(lái)說(shuō)，每年的雙11就是一個(gè)超級(jí)工程，而下一年的雙11又會(huì)突破前一年的紀(jì)錄，因此雙11其實(shí)是一個(gè)不停“膨脹”的無(wú)限工程。支撐雙11的核心數(shù)據(jù)庫(kù)，就是自2010年開(kāi)始立項(xiàng)的金融級(jí)分布式數(shù)據(jù)庫(kù)OceanBase。

OceanBase的目標(biāo)是成為新一代商用關(guān)系型數(shù)據(jù)庫(kù)，其差異化優(yōu)勢(shì)在于底層的分布式技術(shù)。此前的OceanBase 1.0成功支持了2017年雙11的支付峰值，如今OceanBase 2.0已正式上線，迎接即將到來(lái)的2018支付新峰值。

OceanBase 2.0有何新功能?對(duì)1.0版本進(jìn)行了哪些優(yōu)化?能否支撐今后雙11的無(wú)限擴(kuò)展? OceanBase團(tuán)隊(duì)的兩位專(zhuān)家楊傳輝和韓富晟解讀了2.0版本的特點(diǎn)，兩位專(zhuān)家均強(qiáng)調(diào)OceanBase 2.0的設(shè)計(jì)可支撐百萬(wàn)支付峰值甚至無(wú)上限，2018年還將在不增加服務(wù)器的基礎(chǔ)上“頂住”新的峰值。此外，在完全兼容MySQL后，OceanBase 2.0加強(qiáng)了對(duì)Oracle數(shù)據(jù)庫(kù)的兼容。OceanBase還在以極致精神打磨軟件，挑戰(zhàn)世界級(jí)基礎(chǔ)軟件。

進(jìn)一步提升分布式架構(gòu)

今年以來(lái)，國(guó)內(nèi)云服務(wù)商陸續(xù)推出了各自的分布式數(shù)據(jù)庫(kù)，楊傳輝強(qiáng)調(diào)OceanBase是唯一一個(gè)走通用數(shù)據(jù)庫(kù)路線的產(chǎn)品，其特色在于分布式架構(gòu)對(duì)用戶(hù)透明，不需要修改業(yè)務(wù)。OceanBase的技術(shù)定位為通用的金融級(jí)分布式商業(yè)數(shù)據(jù)庫(kù)，從支持金融行業(yè)起步，再逐步拓展到支持各個(gè)行業(yè)。

螞蟻金服研究員 楊傳輝

相對(duì)1.0版本而言，OceanBase2.0在分布式架構(gòu)方面更上一層樓。OceanBase 1.0已經(jīng)實(shí)現(xiàn)了用戶(hù)對(duì)機(jī)器故障的無(wú)感知，也就是多臺(tái)機(jī)器部署數(shù)據(jù)庫(kù)，無(wú)論哪臺(tái)機(jī)器宕機(jī)都可以30秒內(nèi)無(wú)損切換，即所謂高可用。OceanBase 2.0進(jìn)一步實(shí)現(xiàn)了多臺(tái)機(jī)器部署數(shù)據(jù)庫(kù)的時(shí)候，用戶(hù)對(duì)數(shù)據(jù)分布的無(wú)感知，這就是數(shù)據(jù)庫(kù)層面的自動(dòng)分片和自動(dòng)負(fù)載均衡。OceanBase 2.0支持在線數(shù)據(jù)分片，當(dāng)某個(gè)數(shù)據(jù)分片數(shù)據(jù)量或者訪問(wèn)量太大時(shí)，在線分裂成多個(gè)分片，整個(gè)過(guò)程對(duì)服務(wù)沒(méi)有任何影響。

分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)分片，即把數(shù)據(jù)集切分成若干子集再分布到不同機(jī)器上，達(dá)到分布均勻、負(fù)載均衡、擴(kuò)縮容時(shí)數(shù)據(jù)遷移少等目的。楊傳輝強(qiáng)調(diào)，一臺(tái)服務(wù)器上的數(shù)據(jù)分片數(shù)量，說(shuō)明了數(shù)據(jù)庫(kù)底層的技術(shù)能力，因?yàn)榉制蕉鄤t意味著系統(tǒng)開(kāi)銷(xiāo)越大，數(shù)據(jù)分片要能做到足夠小，才能實(shí)現(xiàn)整個(gè)集群負(fù)載的精細(xì)化控制和快速數(shù)據(jù)恢復(fù)。外界基于MySQL方案的分片數(shù)能達(dá)到單機(jī)幾十個(gè)，而OceanBase 2.0則可支持的單機(jī)分片數(shù)達(dá)到10萬(wàn)到100萬(wàn)個(gè)，從而實(shí)現(xiàn)了無(wú)限的可擴(kuò)展能力。

在實(shí)現(xiàn)用戶(hù)對(duì)機(jī)器故障無(wú)感知和數(shù)據(jù)分布無(wú)感知后，OceanBase 2.0還對(duì)分布式事務(wù)進(jìn)行了改進(jìn)。OceanBase 1.0已經(jīng)支持了分布式事務(wù)，2.0版本則進(jìn)一步實(shí)現(xiàn)了全局快照和全局索引。所謂全局快照，即當(dāng)一條SQL語(yǔ)句涉及到多臺(tái)機(jī)器時(shí)，通過(guò)全局快照保證各臺(tái)機(jī)器的強(qiáng)一致讀取。在全局快照讀的基礎(chǔ)上，OceanBase2.0實(shí)現(xiàn)了全局索引，就真正做到了用戶(hù)對(duì)多機(jī)環(huán)境的無(wú)感知。此外，由于出現(xiàn)了全局快照，為了提高局部的租戶(hù)級(jí)數(shù)據(jù)一致性，OceanBase 2.0在全局時(shí)鐘的基礎(chǔ)上又引入了租戶(hù)級(jí)時(shí)鐘，從而保證單個(gè)租戶(hù)的數(shù)據(jù)一致性，而無(wú)須頻繁引用全局時(shí)鐘，這樣就避免了全局時(shí)鐘成為整個(gè)系統(tǒng)的瓶頸。

強(qiáng)化對(duì)Oracle數(shù)據(jù)庫(kù)的兼容

除了日益強(qiáng)大的分布式架構(gòu)，OceanBase 2.0相比OceanBase 1.0在功能上最大的亮點(diǎn)是為用戶(hù)提供了一個(gè)全新的Oracle兼容模式。眾所周知，MySQL是互聯(lián)網(wǎng)場(chǎng)景中最為流行的數(shù)據(jù)庫(kù)，但從市場(chǎng)規(guī)模、功能完備等方面看，Oracle依然是商業(yè)數(shù)據(jù)庫(kù)的絕對(duì)領(lǐng)導(dǎo)者。OceanBase的Oracle兼容模式使得傳統(tǒng)企業(yè)的應(yīng)用可以平滑遷移到OceanBase，在不改變業(yè)務(wù)代碼的前提下充分享受分布式數(shù)據(jù)庫(kù)在擴(kuò)展性、可用性和系統(tǒng)成本等各個(gè)方面帶來(lái)的收益。

從MySQL到Oracle的兼容，不僅僅是SQL語(yǔ)法、數(shù)據(jù)類(lèi)型、功能等方面的改變，更重要的是從專(zhuān)用數(shù)據(jù)庫(kù)到商用數(shù)據(jù)庫(kù)的全面功能升級(jí)，而這一切都是基于OceanBase對(duì)于自有內(nèi)核的全面掌握。 例如，遷移傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用中，存儲(chǔ)過(guò)程的支持是繞不過(guò)去的一道難題。OceanBase 2.0在兼容Oracle存儲(chǔ)過(guò)程各種復(fù)雜、靈活的語(yǔ)法與功能的同時(shí)，還進(jìn)一步通過(guò)編譯執(zhí)行(Just-in-Time Compilation)等技術(shù)，大大提升了其執(zhí)行效率和具體場(chǎng)景中的實(shí)用性。與此同時(shí)，OceanBase 2.0還提供自定義函數(shù)、窗口函數(shù)、層次查詢(xún)、dblink、臨時(shí)表、sequence等一系列豐富的數(shù)據(jù)庫(kù)功能。

Oracle兼容模式的另外一個(gè)體現(xiàn)是數(shù)據(jù)庫(kù)內(nèi)核能力方面的增強(qiáng)。例如，為了更好的處理復(fù)雜查詢(xún)的處理能力，OceanBase 2.0全面升級(jí)了分布式查詢(xún)的優(yōu)化和執(zhí)行引擎，增強(qiáng)了對(duì)復(fù)雜業(yè)務(wù)的支持能力;為了實(shí)現(xiàn)更精確的查詢(xún)優(yōu)化，OceanBase 2.0實(shí)現(xiàn)了直方圖以及實(shí)時(shí)統(tǒng)計(jì)信息更新的機(jī)制;同時(shí)， OceanBase2.0實(shí)現(xiàn)了基于用戶(hù)參數(shù)的計(jì)劃選擇機(jī)制，增強(qiáng)了系統(tǒng)對(duì)大小查詢(xún)混合場(chǎng)景的支持。諸如此類(lèi)，OceanBase 2.0在SQL引擎中引入了大大小小數(shù)十種內(nèi)核優(yōu)化手段，向成熟的商用數(shù)據(jù)庫(kù)又邁進(jìn)了一大步。

數(shù)據(jù)庫(kù)應(yīng)用與數(shù)據(jù)的平滑遷移是升級(jí)過(guò)程中的重要考慮因素。OceanBase 2.0數(shù)據(jù)遷移平臺(tái)支持Oracle業(yè)務(wù)到OceanBase 2.0的一鍵平滑遷移，為用戶(hù)系統(tǒng)的升級(jí)鋪平了道路。

OceanBase 2.0剛剛轉(zhuǎn)向Oracle兼容，任重而道遠(yuǎn)。楊傳輝表示，相信隨著整個(gè)團(tuán)隊(duì)的不斷努力，OceanBase會(huì)持續(xù)降低用戶(hù)使用數(shù)據(jù)庫(kù)的門(mén)檻，實(shí)現(xiàn)對(duì)用戶(hù)生產(chǎn)力的充分解放與賦能。

挑戰(zhàn)百萬(wàn)支付新峰值

2017年雙11的支付峰值為25.6萬(wàn)筆/秒，那么2018年及以后的支付峰值目標(biāo)就上看百萬(wàn)筆/秒甚至更高。這么高的目標(biāo)能否實(shí)現(xiàn)?這就是OceanBase 2.0問(wèn)世的目的：今年雙11交易支付，全部升級(jí)到OceanBase 2.0，從而挑戰(zhàn)百萬(wàn)支付新峰值。

在支撐更高的支付峰值方面，OceanBase 1.0已經(jīng)無(wú)法對(duì)數(shù)據(jù)進(jìn)一步的拆分而不影響上層的業(yè)務(wù)，OceanBase 2.0的目標(biāo)就是在用戶(hù)無(wú)感知的前提下可以把數(shù)據(jù)拆分到無(wú)限多的機(jī)器里，無(wú)需上層的業(yè)務(wù)改造就可以支撐百萬(wàn)甚至更高的支付峰值。

OceanBase作為基礎(chǔ)軟件，是整個(gè)支付業(yè)務(wù)性能的基石。OceanBase一直以來(lái)也把性能作為核心功能對(duì)待，一直為業(yè)務(wù)提供性?xún)r(jià)比最高的數(shù)據(jù)庫(kù)服務(wù)。OceanBase 2.0版本繼續(xù)發(fā)力，在性能上獲得了跨越式提升，在線事務(wù)處理能力(也就是處理OLTP類(lèi)型業(yè)務(wù)的能力)提升了50%，為完成2018年雙11不添加一臺(tái)服務(wù)器支持新的業(yè)務(wù)峰值的目標(biāo)提供了堅(jiān)實(shí)的基礎(chǔ)。

負(fù)責(zé)性能優(yōu)化工作的韓富晟具體介紹了OceanBase 2.0的各項(xiàng)改進(jìn)。OceanBase 2.0主要從三個(gè)層面下了大功夫。第一，是數(shù)據(jù)庫(kù)架構(gòu)層面的革新;第二，是系統(tǒng)實(shí)現(xiàn)層面的精雕細(xì)琢;第三，是數(shù)據(jù)庫(kù)運(yùn)行環(huán)境的整體調(diào)優(yōu)。

螞蟻金服資深技術(shù)專(zhuān)家 韓富晟

OceanBase 2.0對(duì)事務(wù)提交流程進(jìn)行了大重構(gòu)，大幅度減少事務(wù)提交流程的開(kāi)銷(xiāo)。支付業(yè)務(wù)是典型的在線事務(wù)處理類(lèi)，以短小事務(wù)為主，事務(wù)的提交執(zhí)行的頻率特別高。事務(wù)的提交也通常是數(shù)據(jù)庫(kù)內(nèi)部最耗時(shí)的一部分。OceanBase 2.0打通日志服務(wù)與事務(wù)服務(wù)，將原先分布式事務(wù)兩階段提交的多條日志優(yōu)化到每個(gè)分區(qū)只有一條日志，依然保證很好的支持事務(wù)的原子性和一致性的功能。日志條目數(shù)的減少簡(jiǎn)化了提交流程，不僅提升了系統(tǒng)處理能力，還顯著減少了事務(wù)提交的耗時(shí)。

OceanBase 2.0還在哪些地方精打細(xì)算了呢？實(shí)際上，OceanBase 2.0的整個(gè)請(qǐng)求處理路徑都進(jìn)行了細(xì)致的優(yōu)化。以?xún)?nèi)存分配器為例，OceanBase數(shù)據(jù)寫(xiě)入Memtable過(guò)程中，會(huì)在數(shù)據(jù)存儲(chǔ)和索引更新過(guò)程多次分配內(nèi)存，內(nèi)存分配器很容易成為系統(tǒng)的瓶頸。通常解決這個(gè)問(wèn)題的方法是讓分配器預(yù)分配很多內(nèi)存，但是在OceanBase分布式多分區(qū)的架構(gòu)下，給大量空閑分區(qū)預(yù)分配意味著大量閑置的內(nèi)存無(wú)法有效利用。OceanBase 2.0啟用了自適應(yīng)的內(nèi)存分配器算法，只對(duì)寫(xiě)入量大的分區(qū)進(jìn)行內(nèi)存的預(yù)分配，有效平衡了空間占用和系統(tǒng)性能。

數(shù)據(jù)庫(kù)一般都是操作系統(tǒng)壓力最大的進(jìn)程，也經(jīng)常觸碰操作系統(tǒng)的各種極限。OceanBase2.0在實(shí)際生產(chǎn)環(huán)境大壓力運(yùn)行時(shí)，我們還發(fā)現(xiàn)了Linux內(nèi)核的bug。這個(gè)bug從3.1版本內(nèi)核開(kāi)始出現(xiàn)，目前3.1也是業(yè)界在生產(chǎn)環(huán)境普遍使用的一個(gè)版本。在內(nèi)核專(zhuān)家的支持下，我們發(fā)現(xiàn)了Linux調(diào)度系統(tǒng)的缺陷，這個(gè)缺陷使得 CPU無(wú)法充分利用。僅解決此bug一項(xiàng)，就給系統(tǒng)帶來(lái)了7%的性能提升。

為什么OceanBase要這么細(xì)摳系統(tǒng)性能呢?這是因?yàn)樽鲕浖袃纱蟠鷥r(jià)要應(yīng)對(duì)，一個(gè)是開(kāi)發(fā)代價(jià)，一個(gè)是運(yùn)行代價(jià)，有些系統(tǒng)很側(cè)重開(kāi)發(fā)代價(jià)，特別是變化頻繁的業(yè)務(wù)系統(tǒng)，好的開(kāi)發(fā)效率是系統(tǒng)迭代的關(guān)鍵。但是數(shù)據(jù)庫(kù)這樣的底層系統(tǒng)在關(guān)注開(kāi)發(fā)效率的同時(shí)，更關(guān)注運(yùn)行代價(jià)或者說(shuō)是運(yùn)行效率，為什么要關(guān)注運(yùn)行效率?對(duì)于一個(gè)商業(yè)數(shù)據(jù)庫(kù)來(lái)說(shuō)，運(yùn)行在成千上萬(wàn)臺(tái)機(jī)器上，點(diǎn)滴運(yùn)行效率的提升可以帶來(lái)計(jì)算資源的大量節(jié)省，比如OceanBase 2.0對(duì)于在線處理業(yè)務(wù)50%的性能提升，如果原先是1萬(wàn)臺(tái)機(jī)器上運(yùn)行的話，通過(guò)性能提升就能節(jié)約出三分之一的機(jī)器。“越基礎(chǔ)的軟件性能越關(guān)鍵，一個(gè)微小的改變就會(huì)為業(yè)務(wù)節(jié)省大量的資源，持續(xù)的系統(tǒng)優(yōu)化是必須要做的事情。”韓富晟表示。

安全、升級(jí)與遷移

OceanBase 2.0還在更多方面進(jìn)行了優(yōu)化，這些包括數(shù)據(jù)安全與質(zhì)量、軟件系統(tǒng)與遷移等方面的優(yōu)化。

在數(shù)據(jù)安全方面，OceanBase 2.0實(shí)現(xiàn)了商業(yè)數(shù)據(jù)庫(kù)一個(gè)重要功能，即數(shù)據(jù)閃回(Flashback)。數(shù)據(jù)閃回之所以特別有用，在于一旦發(fā)現(xiàn)操作有誤，可以閃回到一段時(shí)間之前的數(shù)據(jù)狀態(tài)。OceanBase 2.0支持?jǐn)?shù)據(jù)的多版本存儲(chǔ)，即把內(nèi)存中的數(shù)據(jù)存儲(chǔ)到磁盤(pán)時(shí)，會(huì)把并發(fā)的多版本以及歷史版本信息等根據(jù)用戶(hù)需求存儲(chǔ)到磁盤(pán)里。

如何實(shí)現(xiàn)OceanBase 1.0到2.0的平滑過(guò)渡?一方面，為了保障業(yè)務(wù)的平穩(wěn)過(guò)渡，OceanBase提供了灰度切換和業(yè)務(wù)雙寫(xiě)，灰度切換指的是數(shù)據(jù)流量按一定百分比逐步切換到新系統(tǒng)中，一旦出現(xiàn)問(wèn)題即可回滾。而業(yè)務(wù)雙寫(xiě)，即業(yè)務(wù)系統(tǒng)同時(shí)使用1.0和2.0兩個(gè)版本，兩套數(shù)據(jù)庫(kù)并行工作以及進(jìn)行數(shù)據(jù)對(duì)比，在運(yùn)行很長(zhǎng)一段時(shí)間后確保切換沒(méi)有問(wèn)題，再一點(diǎn)一點(diǎn)按比例切換，切換的過(guò)程中仍然使用灰度控制，這樣就保證了從1.0到2.0的平滑升級(jí)。

兼容性也是OceanBase團(tuán)隊(duì)提供的1.0到2.0版本升級(jí)中的重要保障機(jī)制。OceanBase支持1.0版本與2.0版本同時(shí)運(yùn)行在一個(gè)業(yè)務(wù)下，“在一個(gè)集群里，兩個(gè)大版本的數(shù)據(jù)庫(kù)同時(shí)運(yùn)行，技術(shù)難度非常大”，楊傳輝強(qiáng)調(diào)。首先是不同版本數(shù)據(jù)庫(kù)之間的協(xié)議兼容，也就是當(dāng)1.0版本給2.0版本發(fā)1.0的協(xié)議以及2.0版本給1.0版本發(fā)2.0的協(xié)議，二者之間都能兼容。此外，在數(shù)據(jù)格式方面，由于2.0版本對(duì)底層進(jìn)行了比較大的改造，因此2.0在兼容1.0的數(shù)據(jù)格式方面也做了細(xì)致的工作。而更難的是功能兼容，在2.0版本中對(duì)不少功能都進(jìn)行了較大的改動(dòng)，因此每一個(gè)被改動(dòng)功能的兼容性都需要逐一處理。

在遷移工具方面，OceanBase支持阿里巴巴和螞蟻金服體系內(nèi)的數(shù)據(jù)遷移工具，例如阿里云平臺(tái)上的數(shù)據(jù)傳輸服務(wù)DTS。在螞蟻金服內(nèi)部開(kāi)發(fā)了MySQL到OceanBase一鍵遷移平臺(tái)，業(yè)務(wù)不需要修改一行代碼，就可以將原來(lái)使用的MySQL切換為OceanBase。

OceanBase 2.0還在其它方面進(jìn)行了更多的優(yōu)化。在底層優(yōu)化方面，OceanBase 2.0將實(shí)現(xiàn)存儲(chǔ)和計(jì)算的分離，這相當(dāng)于在數(shù)據(jù)庫(kù)底層形成了一個(gè)分布式存儲(chǔ)系統(tǒng)。在自治數(shù)據(jù)庫(kù)方面，OceanBase整個(gè)的產(chǎn)品愿景一直在朝這個(gè)方向發(fā)展，盡可能減少人工干預(yù)。

OceanBase 2.0的正式對(duì)外發(fā)布，代表了OceanBase產(chǎn)品化的又一個(gè)新里程碑，也是OceanBase在走向商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品之路上的一個(gè)重要節(jié)點(diǎn)。OceanBase的持續(xù)開(kāi)發(fā)和優(yōu)化過(guò)程，反應(yīng)了中國(guó)基礎(chǔ)軟件在基于云計(jì)算的分布式計(jì)算時(shí)代的新機(jī)遇，盡管要重走一遍傳統(tǒng)IOE軟件曾經(jīng)走過(guò)的基礎(chǔ)軟件優(yōu)化道路，但基于云計(jì)算的分布式環(huán)境給了中國(guó)基礎(chǔ)軟件一個(gè)劃時(shí)代的機(jī)遇，抓住這個(gè)機(jī)遇就有可能成就來(lái)自中國(guó)的世界級(jí)基礎(chǔ)軟件，OceanBase也有機(jī)會(huì)站在世界軟件之巔!

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。