2020雙11,阿里落地了全球最大規(guī)模云原生實踐

2020雙11,阿里落地了全球最大規(guī)模云原生實踐

2020雙11,天貓又創(chuàng)造了新的紀錄:銷售額達到歷史新高4982億、訂單峰值達到創(chuàng)紀錄的58.3萬筆/秒??梢哉f,雙11一直在推動著阿里云計算技術的創(chuàng)新和發(fā)展。2020年11月12日,阿里巴巴CTO程立表示,本次雙11阿里巴巴完成了全球最大規(guī)模的云原生實踐。這意味著繼去年雙11核心系統(tǒng)上云后,阿里巴巴進一步全面云原生化,底層硬核技術升級帶來了更強計算力以及極致性價比——以支撐峰值為例,每萬筆峰值交易的IT成本比4年前下降了80%!

到底“云原生”有什么價值?阿里云云原生應用平臺負責人丁宇強調:云原生將云計算的技術紅利釋放到極致,成為業(yè)務創(chuàng)新的支柱引擎。例如通過過去4年的云原生升級,天貓“雙11”實現了萬筆交易成本降低了80%,也就意味著支撐萬筆交易從之前的100元成本降低到20元,這是資源效率的極大提升。此外,云原生讓天貓“雙11”的研發(fā)運維效率平均增效10%以上、規(guī)模化應用的交付效率提升1倍,這就意味著在規(guī)定時間內抓住更多業(yè)務機遇。

簡單理解,云原生就是通過大規(guī)模采用Docker容器、Kubernetes容器集群管理以及ServiceMesh服務網格等云原生技術,更高效地利用和統(tǒng)一管理各類云計算資源,降低計算成本、提高研發(fā)效率、加速應用交付效率。云原生技術在上層云應用以及下層各類云計算技術和資源之間加了一個標準化適配層,向上統(tǒng)一了云應用的技術,向下納管了各類云計算技術及資源,最大的好處就是釋放了前期各類不同技術方案下的云計算底層資源的技術紅利。

“云原生是釋放云計算紅利的最短路徑,也將成為全面上云的新底座。除了支撐雙11之外,這些雙11的同款技術也通過阿里云支撐全社會,成為數字新基建的基礎設施。”丁宇強調。

  最大規(guī)模云原生實踐

阿里巴巴十分重視云原生技術及實踐,迄今不僅擁有15年的豐富實踐和技術投入,更在2020年9月的杭州云棲大會上宣布成立了云原生技術委員會,云原生技術委員會將大力推動阿里經濟體全面云原生化,并沉淀阿里巴巴10多年的云原生實踐,對外賦能數百萬家企業(yè)進行云原生改造。云原生技術委員會的成立,可以說是阿里巴巴對于云原生的“All In”。

在云原生技術及實踐方面:阿里從2007年就開始落地互聯(lián)網的分布式架構,也是今天常說的微服務;2009年成立了阿里云,自研飛天操作系統(tǒng);2011年開始落地容器化技術、調度技術,進而提升資源利用率、降低運維成本;2013年阿里業(yè)務鏈上小型機全面下線,意味著分布式架構完全落地;2015年開始全面采用阿里云彈性支撐“雙11”;2017年實現了在線和離線調度的打通,開始落實行業(yè)領先的混部技術,進一步提升資源利用效率、降低IT成本;2019年,實現了核心系統(tǒng)100%上云,即核心業(yè)務架構全面跑在阿里云的公共云上,并部署了超過200萬個容器,這是全球最大規(guī)模的云原生實踐;2020年,阿里巴巴雙11核心系統(tǒng)全面使用云原生產品,實現了全面的云原生化。

從2009年首次上線核心中間件系統(tǒng),到2011年淘寶天貓開始使用容器調度技術,再到推出自研云原生硬件神龍服務器、云原生數據庫PolarDB等,阿里的云原生技術經過不斷打磨,達到了新高:2019年雙11,阿里電商核心系統(tǒng)100%上云,集群的規(guī)模超過百萬容器,單容器集群節(jié)點數量過萬,數據庫的峰值超過54萬筆每秒,對應8700萬查詢每秒,而實時計算每秒峰值處理消息超過25億條,消息系統(tǒng)RocketMQ峰值處理了超過每秒1.5億條消息。

丁宇透露,2020年雙11又創(chuàng)造了諸多“云原生的第一次”,包括:云原生實時數倉首次在核心業(yè)務場景落地,提供毫秒級海量數據處理能力;核心業(yè)務首次大規(guī)模應用Serverless,彈性伸縮性提升10倍以上;首次大規(guī)模應用云原生數據庫PolarDB,性能提升50%;超大規(guī)模容器服務ACK可提供1小時百萬容器彈性能力……

  四大技術突破與五個“最”

由于阿里雙11和阿里經濟體的體量,阿里巴巴的云原生實踐無愧于最大規(guī)模云原生實踐,而阿里巴巴每年雙11和阿里經濟體規(guī)模的擴張,又讓這個最大規(guī)模云原生實踐每年都有新的突破,可謂沒有“最大”只有“更大”。

丁宇強調,2020雙11,阿里云使用了數十款云原生產品支持大促,大幅度提升了技術效率。2019年,阿里電商核心系統(tǒng)百分之百上云,主要是IaaS層全面運行在公共云上,而2020年進一步向上層發(fā)展,將幾十款技術切換到云原生產品上。這樣帶來的好處是采用了更現代化、更走在前沿的云原生理念和工具,更好提升了效率。特別是實現了過去自有技術與云的開放標準技術實現融合、技術路線統(tǒng)一、降低了技術投入,也帶來整個開發(fā)效率、資源利用率和技術迭代效率的提升,大幅提升了生產力。

2020雙11,阿里落地了全球最大規(guī)模云原生實踐

2020雙11在四大核心技術方面,實現了規(guī)模和創(chuàng)新的雙重突破,把技術能力轉化為業(yè)務價值。

第一,2020年支撐“雙11”的是全球最大規(guī)模容器集群,實現了百萬規(guī)模容器和千萬核的單機群能力,同時實現了服務網格技術和業(yè)務的解耦,也是全球最大Mesh集群用于支持“雙11”,在此基礎上實現了極致的彈性能力。

第二,國內最大的計算平臺和頂級的實時計算能力。2020年“雙11”的大數據平臺批處理,單日數據計算量達到1.7EB,實時計算每秒30億條。而2020年的一個進展是數據庫全面切換到了云原生數據庫,支持“雙11”過程中將讀寫性能提高了50%,計算資源利用率提高了60%,這些都是通過切換到云原生帶給整個“雙11”和阿里集團的技術紅利。

第三是云原生中間件,分布式應用架構技術首次實現了全面三位一體——自研技術、商用技術和社區(qū)標準技術的路線合并,例如2020“雙11”的云原生中間件服務框架峰值,調用量就超過百億QPS。

第四是核心業(yè)務首次規(guī)模化落地Serverless。Serverless的6個先進技術特性,包括全托管、免運維、極致彈性、無限容量、按需申請、按用計費等對于整個IT架構實現優(yōu)化,為運維效率和彈性效率帶來了10倍的提升,大幅度提升了“雙11”的大促支撐效率和穩(wěn)定性。

截止到2020年10月,阿里云原生實踐實現了“五個最”:首先是最豐富的云原生產品家族,阿里云提供了300多款云原生產品,阿里云的云原生產品能力在Gartner相關報告中比肩AWS;其次是最全面的云原生開源貢獻,阿里從2010年之前就開始大量投入到開源社區(qū)工作中,迄今已有近百款開源項目、形成完整的開源體系,并服務了百萬開發(fā)者;第三是有著最廣泛的云原生客戶群體,阿里云在互聯(lián)網、金融、制造、政府等多個領域多個行業(yè)中有大量云原生客戶、達到了幾十萬規(guī)模,而豐富的客戶場景也推動了阿里云原生產品的適應性和豐富性;第四是最大規(guī)模的云原生應用實踐,沉淀了核心技術能力;第五是最高等級的全球云原生業(yè)界評級,包括阿里云連續(xù)2年國內唯一入選Gartner《競爭格局:公共云容器服務》報告、2019年容器調度混布彈性核心技術獲得國家技術發(fā)明二等獎、高性能分布式中間件獲得了浙江省科技進步二等獎、函數計算在云原生基金會2019年年度調查中獲得國內第一的市場占有率評估、Serverless產品線在信通院測評報告中達到國內用戶規(guī)模占比66%等。

  釋放云計算紅利

作為云原生領域的領導者和實踐者,阿里云對于云原生有著非常深刻的理解,阿里云認為今天“云原生是釋放云計算紅利的最短路徑”,其中至少有三層意義:

云原生是云計算的再升級。今天業(yè)界流行的容器技術,其價值在于就是向下屏蔽和封裝基礎設施,對于異構硬件、異構環(huán)境,可抹平差異性,提供標準化的服務界面;向上能夠支撐多種負載,包括所有的創(chuàng)新應用如微服務,有狀態(tài)的應用如數據庫以及大數據計算、基因計算、區(qū)塊鏈等,所有的工作負載都可以運行在云原生體系上,實現更低的成本、更高的維護效率。同時,云原生還驅動了軟硬一體化,包括零損耗容器網絡,可以帶來更好的算力。

云原生正在重塑整個軟件生命周期。這對于整個行業(yè)來說是一次大變革,云原生帶來了開放標準技術,推動了云計算的標準化,向上支撐了多種應用架構、工作負載,驅動多種場景向架構現代化演進;同時云原生還在進行水平延伸,包括延伸到企業(yè)的完整技術支撐體系,從開發(fā)、測試、上線、運維、監(jiān)控、升級等全鏈條都在形成新的技術標準,進而帶來更高的技術效率,以及高容錯、可擴展等新特性。

云原生正在加速企業(yè)的數字化升級。今天諸如容器這樣的云原生技術,能夠給企業(yè)帶來的什么價值呢?首先是基礎設施的云化,能夠更好的與各種云連接,或者更快遷移到云上,享受資源池化,獲得更好彈性的能力;其次是核心技術的互聯(lián)網化,把敏捷、分布式、可擴展等互聯(lián)網技術紅利帶給企業(yè)和開發(fā)者。

通過架構現代化演進的多種場景,云原生把數據化、智能化的應用帶給企業(yè),再通過降本提效、快速迭代、智能運營,幫助企業(yè)實現商業(yè)創(chuàng)新,這是阿里云對于云原生的核心判斷。

  云原生的“完美日記”

從2011年邁入容器大門,到2019年雙11阿里電商核心系統(tǒng)100%上云并部署了超過200萬個容器,成為全球最大規(guī)模的云原生實踐,再到2020年雙11核心系統(tǒng)全面云原生化,阿里云正在重新定義下一個十年的云計算技術——云原生。

阿里巴巴自身就首先是云原生的用戶。阿里王堅曾表示,從in-house的基礎設施、定制化的平臺能力、到通用的云平臺,從Cloud Hosting到Cloud Native,這個過程面臨著巨大的挑戰(zhàn)。2011年阿里云開始邁進容器大門,2013年Docker問世,阿里云容器迅速融合其先進理念,并在2015年推進集團業(yè)務全面的容器化演進。2019年,阿里實現了核心交易系統(tǒng)100%上云并完成了全球最大規(guī)模的云原生實踐,讓阿里和客戶真正坐上了同一架飛機。

通過上云和云原生化,最大化的讓阿里巴巴的業(yè)務使用最先進的云技術,通過技術架構的演進使業(yè)務更好的聚焦于自身的業(yè)務發(fā)展而無須關注通用底層技術,讓業(yè)務研發(fā)效率提升、迭代速度更快,從而達成了技術人員的真正目標。隨著阿里巴巴自身應用云原生技術的成功,也在通過阿里云把阿里巴巴實踐成功過的云原生技術帶來廣大企業(yè),打通數字化轉型落地的“最后一公里”。

在本次雙11前后,完美日記獲得了市場極大的關注度。2020年10月30日,完美日記的母公司逸仙電商正式遞交了美股招股書,計劃在紐交所上市。上市后,逸仙電商將成為首家在美股上市的中國美妝平臺型公司,而旗下完美日記也有望成為首個登陸紐交所的國貨美妝品牌。完美日記在成為“國貨彩妝黑馬”的同時,也是阿里云原生技術的積極采用者。

此前,完美日記在應對大促等活動時的機器擴容方面,為了保持系統(tǒng)的穩(wěn)定性,運維人員就需要在每晚23:00點以后通過人工操作進行擴容,然后測試人員進行測試,平均每次擴容都需要半個小時以上。由于雙11期間處于大流量、高并發(fā)的場景,整個運維人員對服務器維護、版本迭代、數據庫運維等都必須格外謹慎,稍有不慎就會導致線上生產事故,服務器運維壓力巨大。

2019年雙11之后,完美日記就開始針對性測試阿里云容器服務ACK,并開始容器化改造。之所以選擇容器技術,是因為完美日記要構建一套現代化IT系統(tǒng)以滿足快速變化的需求和挖掘更多的數據價值。一方面,完美日記對業(yè)務的快速創(chuàng)新以及現有業(yè)務的實時性和交互性需求都在不斷地增長;另一方面,完美日記對數據的重視程度也在不斷提高,尤其是用戶數據的重要性——如何提供優(yōu)于競爭對手的服務和用戶體驗,如何合理、有效地發(fā)掘更多的數據價值,成為完美日記的迫切需求。

除了采用阿里云容器服務ACK之外,完美日記在一開始進行容器化改造時就使用了阿里云鏡像企業(yè)版ACR EE,其優(yōu)勢在于比采用開源harbor自建方式要穩(wěn)定與低成本,并發(fā)性能也比自建harbor要高。另外,完美日記也通過阿里云的應用實時監(jiān)控系統(tǒng)ARMS Prometheus進行系統(tǒng)監(jiān)控并有針對性地解決問題,相比采用開源的Prometheus技術,ARMS還可以解決整個K8S底層監(jiān)控(Prometheus)的維護和成本高的難題。

經過,容器化改造之后,完美日記的整個系統(tǒng)“輕松了很多”。2020年1月初,在切換到K8S正式環(huán)境后,擴容時間只需要90秒左右,節(jié)約了6~8倍時間,減少了一名服務器運維人員。此外,根據運營節(jié)奏進行擴容,完美日記的服務器擴容成本節(jié)約70%~90%;同時,部署效率大幅提升,可根據文件模板秒級創(chuàng)建一個服務,部署時間減少90%以上。

除了完美日記外,還有大量企業(yè)采用了阿里云的云原生技術,大幅提升企業(yè)效率。2020雙11期間,菜鳥運用云原生實時數倉提升系統(tǒng)效率,IT成本下降70%,整體數據鏈路從小時級同步直接優(yōu)化到3分鐘;中國郵政引入云原生分布式數據庫PolarDB-X,億萬包裹過境,系統(tǒng)穩(wěn)定支撐雙11;申通快遞將核心系統(tǒng)搬到阿里云上,使用云原生數據庫PolarDB替代傳統(tǒng)數據庫,并進行應用容器化和微服務改造,日均可處理三千萬訂單,IT成本卻降低了30%……

總結而言:2020阿里“雙11”核心系統(tǒng)的全面云原生化,極大增強了業(yè)界采用云原生技術的信心,而阿里云對云原生技術的“All In”以及完整的云原生產品矩陣,加上整個阿里經濟體的生態(tài)效應,將把云原生全速推進到數字新基建的“底座”。云原生將定義下一個十年的云計算基礎設施,而阿里云已經先行一步布局了以云原生為代表的新基礎設施,為未來十年的數字化轉型打下了新的“地基”。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )