阿里總部對(duì)外解密雙11超級(jí)工程背后的數(shù)據(jù)庫技術(shù)

2018年1月19日，阿里巴巴數(shù)據(jù)庫事業(yè)部聯(lián)合技術(shù)戰(zhàn)略部在阿里西溪園區(qū)總部，也是雙11技術(shù)的發(fā)源地，舉辦了一場(chǎng)線下《雙11數(shù)據(jù)庫技術(shù)峰會(huì)》，超過100名企業(yè)CTO、CIO和數(shù)據(jù)架構(gòu)師到場(chǎng)參加，現(xiàn)場(chǎng)座無虛席。

阿里巴巴集團(tuán)數(shù)據(jù)庫技術(shù)總負(fù)責(zé)人、阿里研究員張瑞做了開場(chǎng)分享。張瑞2005年加入阿里，前兩天剛剛滿13周年，親歷了阿里整個(gè)數(shù)據(jù)庫技術(shù)的變遷和發(fā)展。數(shù)據(jù)庫理論在上世紀(jì)70年代被提出，Oracle抓住了機(jī)會(huì)，推出了基于磁盤設(shè)計(jì)的數(shù)據(jù)庫。后來，F(xiàn)lash技術(shù)成熟、PC上CPU能力增強(qiáng)，在這兩個(gè)背后推手下，阿里完成了去IOE的數(shù)據(jù)庫架構(gòu)升級(jí)。隨著互聯(lián)網(wǎng)技術(shù)快速發(fā)展，分布式大數(shù)據(jù)也開始沖擊著傳統(tǒng)的關(guān)系型數(shù)據(jù)庫。一直以來，雙11是阿里技術(shù)的助推劑，阿里通過分布式數(shù)據(jù)庫中間件擴(kuò)展已經(jīng)能較好地支持雙十一活動(dòng)，這個(gè)背景下，從2016年阿里巴巴開始思考需要的下一代的數(shù)據(jù)庫到底是什么？一個(gè)是已經(jīng)成熟的分布式架構(gòu)，一個(gè)是今天與云結(jié)合的很緊密的存儲(chǔ)計(jì)算分離技術(shù)。雙11極端的壓力下還要優(yōu)化成本，希望用原來1/10的成本把性能再提升10倍，今天新的硬件也在快速發(fā)展，包括內(nèi)存、FPGA、更高效的網(wǎng)絡(luò)等等。站在當(dāng)下看未來，數(shù)據(jù)庫現(xiàn)在又到了技術(shù)的最前沿，各種技術(shù)百花齊放。最后，張瑞表示，希望和在座的各位一起來探索未來十年數(shù)據(jù)庫的改變與突破。

阿里資深專家佳毅帶來雙11黑科技分享《數(shù)據(jù)庫優(yōu)化之路》。他提到，雙11數(shù)據(jù)庫面臨三大挑戰(zhàn)：數(shù)據(jù)強(qiáng)一致的問題、性能問題、成本問題。今年使用阿里新一代數(shù)據(jù)庫X-DB來應(yīng)對(duì)這些挑戰(zhàn)。X-DB底層使用自研高性能Paxos基礎(chǔ)組件X-Paxos，借此解決數(shù)據(jù)強(qiáng)一致的問題。對(duì)于性能和成本，底層使用Batching 和Pipelining技術(shù)來大大提升數(shù)據(jù)庫的事務(wù)處理能力。同時(shí)佳毅也分享了通過ESDB、X-KV等技術(shù)解決各種復(fù)雜的性能問題，通過容器化與存儲(chǔ)計(jì)算分離讓數(shù)據(jù)庫做到極致彈性，最后佳毅分享了阿里巴巴正在通過CloudDBA產(chǎn)品大大降低DBA服務(wù)人力成本的問題。

玄慚是云上的數(shù)據(jù)庫性能優(yōu)化高級(jí)專家，同時(shí)也是歷年雙十一RDS的技術(shù)保障負(fù)責(zé)人，他的分享是《云數(shù)據(jù)庫RDS雙11最佳實(shí)踐》。當(dāng)使用云上的RDS需要支撐類似雙11這樣的大型活動(dòng)的時(shí)候，玄慚分享了如何從參數(shù)優(yōu)化、鏈路訪問、性能優(yōu)化、彈性擴(kuò)容、架構(gòu)設(shè)計(jì)，這五個(gè)方面去優(yōu)化數(shù)據(jù)庫，應(yīng)對(duì)高并發(fā)的訪問。

IoT是當(dāng)前最熱門的技術(shù)趨勢(shì)之一，大量IoT設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)該如何存儲(chǔ)？在接下來阿里時(shí)序數(shù)據(jù)庫高級(jí)專家悠你的分享中，以一個(gè)典型的工業(yè)IoT案例-風(fēng)電場(chǎng)為案例，介紹了如何使用云端的高性能時(shí)序數(shù)據(jù)庫HiTSDB來存儲(chǔ)大量的時(shí)序數(shù)據(jù)存儲(chǔ)。同時(shí)介紹了HiTSDB在時(shí)序數(shù)據(jù)處理上的主要優(yōu)勢(shì)，包括聚合查詢、實(shí)時(shí)響應(yīng)、海量數(shù)據(jù)存儲(chǔ)等方面的優(yōu)秀技術(shù)成果。

下午的第一場(chǎng)由阿里資深專家斗佛帶來《企業(yè)數(shù)據(jù)安全管理最佳實(shí)踐》。一直以來，由于數(shù)據(jù)訪問的隨意，給企業(yè)數(shù)據(jù)帶來非常大的泄露風(fēng)險(xiǎn)，甚至也出現(xiàn)過很多次企業(yè)的CEO或者CIO為此而被迫辭職的情況發(fā)生。硬件損壞、軟件bug、內(nèi)部數(shù)據(jù)泄露等等都是企業(yè)數(shù)據(jù)安全的挑戰(zhàn)。斗佛介紹了阿里巴巴數(shù)據(jù)安全解決方案如何解決這些問題。同時(shí)他透露，對(duì)應(yīng)的阿里云上即將商業(yè)化的“數(shù)據(jù)管理DMS企業(yè)版”將把阿里內(nèi)部的經(jīng)驗(yàn)賦能給所有云上的用戶。

從08年開始，阿里巴巴內(nèi)部就開始了分庫分表技術(shù)的探索，10年來，在內(nèi)部沉淀的分庫分表數(shù)據(jù)庫中間件產(chǎn)品叫TDDL，對(duì)應(yīng)的在云上的產(chǎn)品為DRDS。這一次，阿里分布式數(shù)據(jù)庫技術(shù)專家夢(mèng)實(shí)給大家?guī)砹巳乱淮腄RDS引擎，帶了數(shù)倍的性能提升、更復(fù)雜的SQL能力、更具可讀性的優(yōu)化器執(zhí)行計(jì)劃等。他還透漏了一個(gè)重磅消息，新一代引擎將很快發(fā)布，并且在今年會(huì)對(duì)外完全開源。

阿里OLAP數(shù)據(jù)庫高級(jí)專家知數(shù)在《分析型數(shù)據(jù)庫AnalyticDB2.0雙11實(shí)踐》中為大家介紹了如何使用實(shí)時(shí)分析型數(shù)據(jù)庫ADS來解決一些在線OLAP型業(yè)務(wù)問題。比較典型的場(chǎng)景包括營(yíng)銷管理、推薦、預(yù)測(cè)、安全風(fēng)控等。知數(shù)以阿里雙11內(nèi)部多個(gè)場(chǎng)景為案例，展示ADS在這些業(yè)務(wù)上的表現(xiàn)。

隨著DT時(shí)代的到來，企業(yè)占有的數(shù)據(jù)越來越多，其規(guī)?？赡苓_(dá)到上百TB甚至PB級(jí)，如何以合理的成本管理并維護(hù)這樣一個(gè)數(shù)據(jù)庫也成為各個(gè)企業(yè)IT管理中的核心問題。阿里云數(shù)據(jù)庫高級(jí)專家南仙的分享《云數(shù)據(jù)庫HybridDB HTAP技術(shù)實(shí)踐》介紹了如何通過阿里云數(shù)據(jù)庫團(tuán)隊(duì)自研的新型HTAP數(shù)據(jù)庫，同時(shí)支持OLTP和OLAP場(chǎng)景，它基于創(chuàng)新的計(jì)算存儲(chǔ)框架，在一份數(shù)據(jù)上保證事務(wù)的同時(shí)支持實(shí)時(shí)分析，省去了費(fèi)時(shí)的ETL過程。

隨著企業(yè)業(yè)務(wù)的發(fā)展，內(nèi)部的數(shù)據(jù)流動(dòng)會(huì)變成一個(gè)很大的挑戰(zhàn)。阿里數(shù)據(jù)庫架構(gòu)師西壁帶來的《數(shù)據(jù)實(shí)時(shí)同步解決方案》介紹雙11數(shù)據(jù)突增時(shí)，如何解決阿里內(nèi)部的數(shù)據(jù)流動(dòng)，具體的場(chǎng)景包括異地多活、媒體大屏、緩存更新、實(shí)時(shí)消息、新零售混合云等。如果是阿里云上的用戶，則可以通過數(shù)據(jù)傳輸服務(wù)DTS來解決類似場(chǎng)景的問題。

在最后的圓桌會(huì)議環(huán)節(jié)，多位阿里數(shù)據(jù)庫技術(shù)專家暢談了自己對(duì)雙11技術(shù)、異地多活、分布式數(shù)據(jù)庫、分庫分表技術(shù)等的展望，同時(shí)也回答多個(gè)參會(huì)者相關(guān)的問題。從全國(guó)多個(gè)城市趕來的參會(huì)嘉賓表示不虛此行，直言這是近幾年聽到最純正的技術(shù)型會(huì)議。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。