DDE(深度時間數(shù)字地球)是一項備受國際地質(zhì)科學(xué)研究會(IUGS)認可的重要科學(xué)計劃,融匯了來自全球的500多名專家和26個國際組織機構(gòu)共同的智慧與力量,旨在建立一個連接地球科學(xué)信息的綜合性研究平臺。該計劃主要通過大數(shù)據(jù)分析、互聯(lián)網(wǎng)云計算、數(shù)據(jù)挖掘、機器學(xué)習(xí)和人工智能等先進技術(shù),整合全球演化數(shù)據(jù),共享地球科學(xué)知識,深入洞察地球環(huán)境與資源的現(xiàn)狀,推動地球科學(xué)研究的革新,與全人類一起迎接新時期所面臨的環(huán)境與發(fā)展挑戰(zhàn)。
DDE不僅僅是一個科學(xué)計劃,更是一個影響深遠的全球合作平臺。通過整合全球數(shù)據(jù)和知識資源,DDE為地球科學(xué)研究提供了前所未有的機會和工具,促進了學(xué)術(shù)界和產(chǎn)業(yè)界的緊密合作,推動了地球科學(xué)的發(fā)展和創(chuàng)新,并成為了解地球環(huán)境與資源和應(yīng)對全球挑戰(zhàn)的關(guān)鍵驅(qū)動力。
2021年9月,阿里云成為了DDE云基礎(chǔ)架構(gòu)的服務(wù)提供商,為DDE提供數(shù)據(jù)分析、云計算和人工智能等多個領(lǐng)域的全方位支持,進一步提升了DDE的技術(shù)和創(chuàng)新能力。
項目推進,挑戰(zhàn)不斷
DDE作為一項全球范圍的跨學(xué)科合作項目,在對全球的數(shù)據(jù)進行同步的過程中,需要大量使用AI、機器學(xué)習(xí)和大數(shù)據(jù)分析等多種云資源。隨著DDE項目的持續(xù)推進,在推進的過程中面臨著一系列挑戰(zhàn),而現(xiàn)階段的挑戰(zhàn)主要體現(xiàn)在以下兩個方面:
挑戰(zhàn)1:DDE項目對于云服務(wù)器在web(https)場景中的高效穩(wěn)定處理并發(fā)負載有著極高要求。這意味著云服務(wù)器必須具備卓越的處理能力,以確保數(shù)據(jù)能夠順利傳輸和加載,降低延遲和減少潛在的故障風(fēng)險。
挑戰(zhàn)2:DDE項目需要緩存海量數(shù)據(jù),在數(shù)據(jù)存儲過程中除了需要兼顧數(shù)據(jù)庫容量和性能,還需要著重考量數(shù)據(jù)庫的成本。這要求項目所選的數(shù)據(jù)庫在承載海量數(shù)據(jù)和高效執(zhí)行讀取編寫操作的同時,不會引起過高的成本負擔(dān)。
攜手共進,突破挑戰(zhàn)
Lightning Cloud作為阿里云的全球戰(zhàn)略合作伙伴,有幸承擔(dān)了DDE項目云架構(gòu)搭建和數(shù)據(jù)遷移工作。為了進一步提升服務(wù)器性能和降低數(shù)據(jù)庫成本,我們與Intel展開合作,探索應(yīng)用新技術(shù),挑戰(zhàn)更低成本實現(xiàn)更高性能。
在這次合作中,Intel提供了第四代英特爾至強處理器,以提升服務(wù)器性能。這款處理器內(nèi)置多種加速器,并包含了加解密領(lǐng)域的指令集Crypto-NI,能夠批量提交多個SSL請求和并行異步處理,從而顯著提升服務(wù)器性能。無論是處理人工智能、數(shù)據(jù)分析、存儲還是科學(xué)計算等工作負載,該處理器都能夠快速響應(yīng),滿足不斷增長的需求。此外,該處理器還支持多云部署和擴展,并具備高度靈活性,能夠滿足DDE項目不同層級的應(yīng)用需求。
鑒于第四代英特爾 至強 處理器的卓越性能,我們與Intel合作制定了一項關(guān)于該處理器對云服務(wù)器性能提升效果的產(chǎn)品測試方案。通過測試,在數(shù)據(jù)處理效率、延遲等得到了大幅度的提升優(yōu)化。
本次的測試方案分為以下兩個部分:
1、在 web(https) 場景下部署第四代英特爾至強,通過 ApacheBench 對阿里云ECS服務(wù)器實例進行模擬并發(fā)的負載,并測試在不同負載類別下服務(wù)器的強度和整體性能,再通過阿里云控制臺觀察服務(wù)器負載,分析生成應(yīng)用測試報告。
2、使用memtier_benchmark對8G 內(nèi)存規(guī)格的redis 社區(qū)版和Tair持久內(nèi)存版數(shù)據(jù)庫進行隨機的讀寫操作,并在讀寫和混合讀寫(3:7)的測試場景下,對比兩個版本數(shù)據(jù)庫的性能差異。
降本增效,加速項目推進
在 Lightning Cloud 和Intel的共同努力下,我們最終完成了產(chǎn)品測試,并獲得理想的測試結(jié)果:
1、ECS的 web(https) 場景測試結(jié)果顯示,在使用了第四代英特爾至強后的模擬并發(fā)請求靜態(tài)頁面和動態(tài)頁面測試中,測試總耗時平均降低了28%,中位數(shù)平均響應(yīng)時間降低39%,有效提升web性能,并保障了ECS處理并發(fā)負載時的平穩(wěn)運行。
靜態(tài)請求
(未使用第四代英特爾至強)
(使用了第四代英特爾至強)
動態(tài)請求
(未使用第四代英特爾至強)
(使用了第四代英特爾至強)
2、兩個版本數(shù)據(jù)庫的測試結(jié)果顯示,Tair持久內(nèi)存版的查詢每秒(QPS)性能相比社區(qū)版下降約10%左右,但響應(yīng)時間方面的差異并不顯著,完全可以滿足客戶需求。并且在進行數(shù)據(jù)持久化(存儲為aof文件)時,Tair持久內(nèi)存版性能仍然表現(xiàn)出色,確保了數(shù)據(jù)的可靠存儲。
64k社區(qū)版
64k Tari 持久內(nèi)存版
此外,通過使用Tair持久內(nèi)存版進行數(shù)據(jù)庫的優(yōu)化,項目的綜合成本支出降低了28%,在保障了數(shù)據(jù)庫性能的同時,還實現(xiàn)了成本的有效優(yōu)化。
基于測試的結(jié)果,我們共同優(yōu)化了服務(wù)器的性能和數(shù)據(jù)庫的成本,為DDE項目的開展提供了有效助力。這次與Intel 的合作不僅僅是技術(shù)上的結(jié)合,更是雙方共同追求卓越的結(jié)果,通過我們的攜手合作,加速了DDE項目的整體推進。
作為一個全球性的大型科學(xué)計劃,DDE將繼續(xù)秉承著數(shù)字技術(shù)驅(qū)動的現(xiàn)代研究方法,通過知識共享和數(shù)字革命,促進前沿科技發(fā)展,不斷解決全球性的地學(xué)問題,推動地球科學(xué)發(fā)展進入新時代。能夠參與到該項目中,我們深感榮幸,我們相信,通過我們提供的技術(shù)解決方案,將助力DDE項目的進一步的推進,為全人類的環(huán)境與發(fā)展做出更大的貢獻。
關(guān)于Intel
Intel 創(chuàng)始于1968年,是半導(dǎo)體行業(yè)和計算創(chuàng)新領(lǐng)域的領(lǐng)先企業(yè),擁有50余年的技術(shù)創(chuàng)新和產(chǎn)業(yè)生態(tài)耕耘的成功經(jīng)驗。隨著計算機的不斷普及,Intel 推動了全球計算機和半導(dǎo)體行業(yè)的快速發(fā)展,并成為計算機和半導(dǎo)體生產(chǎn)的科技巨擘。
如今,英特爾正在轉(zhuǎn)型為一家以數(shù)據(jù)為中心的公司,致力于做可信賴的性能領(lǐng)導(dǎo)者,并釋放數(shù)據(jù)的無限潛能。今后,英特爾將與合作伙伴一起,共同推動人工智能、5G、智能邊緣等轉(zhuǎn)折性技術(shù)的創(chuàng)新和應(yīng)用突破,驅(qū)動智能互聯(lián)世界,幫助全球用戶應(yīng)對重大挑戰(zhàn)。
關(guān)于Lightning Cloud
Lightning Cloud 是阿里云的全球戰(zhàn)略合作伙伴,專注于多云計算業(yè)務(wù)的創(chuàng)新開發(fā),為全球客戶提供云計算、大數(shù)據(jù)、安全與合規(guī)等全業(yè)態(tài)產(chǎn)品服務(wù)和解決方案。公司在新加坡、印度、馬來西亞、美國等地設(shè)有分部。經(jīng)過十余年的技術(shù)沉淀和經(jīng)驗積累,Lightning Cloud 自研開發(fā)多款自研全球SaaS應(yīng)用平臺,實現(xiàn)客戶對多云資源的高效使用,加速其全球業(yè)務(wù)布局和數(shù)字轉(zhuǎn)型。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )