聯(lián)通軟研院攜手海量數(shù)據(jù)庫(kù)的自主創(chuàng)新實(shí)踐

中國(guó)聯(lián)通軟件研究院是中國(guó)聯(lián)通集團(tuán)數(shù)字化轉(zhuǎn)型的核心技術(shù)引擎,承擔(dān)集團(tuán)內(nèi)部業(yè)務(wù)支撐系統(tǒng)、大數(shù)據(jù)平臺(tái)及前瞻性技術(shù)的自主研發(fā)與應(yīng)用,在行業(yè)內(nèi)率先實(shí)現(xiàn)了核心系統(tǒng)全棧集約化,承載全世界單體最大運(yùn)營(yíng)商業(yè)務(wù)運(yùn)營(yíng)系統(tǒng),服務(wù)超4億+用戶(hù)。

2024年,中國(guó)聯(lián)通軟件研究院攜手海量數(shù)據(jù),采用基于開(kāi)源openGauss內(nèi)核研發(fā)的海量數(shù)據(jù)庫(kù)Vastbase,成功支撐了中國(guó)聯(lián)通上百個(gè)關(guān)鍵系統(tǒng)的國(guó)產(chǎn)化替代升級(jí),已在聯(lián)通內(nèi)部完成100+系統(tǒng),350+節(jié)點(diǎn)的國(guó)產(chǎn)數(shù)據(jù)庫(kù)的替換上線工作,以堅(jiān)實(shí)的基礎(chǔ)軟件數(shù)據(jù)庫(kù)底座,強(qiáng)有力地支撐了中國(guó)聯(lián)通內(nèi)部業(yè)務(wù)的需求。

聯(lián)通軟研院攜手海量數(shù)據(jù)庫(kù)的自主創(chuàng)新實(shí)踐

其中,聯(lián)通商城系統(tǒng)數(shù)據(jù)庫(kù)自主創(chuàng)新案例成功入選全球計(jì)算聯(lián)盟(GCC)的《2024年度全球計(jì)算產(chǎn)業(yè)案例匯編(GMVPS)》智慧行業(yè)應(yīng)用類(lèi)案例。

聯(lián)通軟研院攜手海量數(shù)據(jù)庫(kù)的自主創(chuàng)新實(shí)踐

案例背景:無(wú)中斷的擴(kuò)容挑戰(zhàn)

聯(lián)通商城系統(tǒng)此次數(shù)據(jù)庫(kù)自主創(chuàng)新,核心之一是對(duì)其報(bào)表系統(tǒng)進(jìn)行擴(kuò)容。該系統(tǒng)日均處理海量數(shù)據(jù)分析請(qǐng)求,隨著業(yè)務(wù)激增,原數(shù)據(jù)庫(kù)面臨磁盤(pán)使用率超90%、CPU等待高達(dá)60%的嚴(yán)峻挑戰(zhàn),IO性能瓶頸已影響系統(tǒng)穩(wěn)定性。如何在不中斷業(yè)務(wù)的前提下,實(shí)現(xiàn)數(shù)據(jù)庫(kù)高效擴(kuò)容與性能躍升?

聯(lián)通軟研院攜手海量數(shù)據(jù)庫(kù)的自主創(chuàng)新實(shí)踐

技術(shù)路線的選擇

選型之初中國(guó)聯(lián)通軟研院提出了全棧國(guó)產(chǎn)化的需求:

●極端情況下能運(yùn)營(yíng)嗎?能安全運(yùn)營(yíng)嗎?

●有足夠的XC生態(tài)支撐嗎?

在此等要求下,結(jié)合多輪測(cè)試溝通,最終選擇了基于開(kāi)源openGauss內(nèi)核打造的海量數(shù)據(jù)庫(kù)Vastbase。

openGauss是一個(gè)由學(xué)界、產(chǎn)業(yè)界和用戶(hù)共同打造的開(kāi)源社區(qū),開(kāi)源4年多來(lái),社區(qū)快速發(fā)展,成為國(guó)內(nèi)最活躍的開(kāi)源數(shù)據(jù)根社區(qū)。

海量數(shù)據(jù)作為最早加入openGauss社區(qū)的合作伙伴,是openGauss技術(shù)路線堅(jiān)定的支持者和貢獻(xiàn)者,在內(nèi)核優(yōu)化、兼容性打磨、生態(tài)工具、資源池化等關(guān)鍵技術(shù)創(chuàng)新上持續(xù)投入,與openGauss保持緊密合作,是緊隨華為的社區(qū)內(nèi)核貢獻(xiàn)單位。

海量數(shù)據(jù)的Vastbase G100,作為openGauss社區(qū)商業(yè)發(fā)行版的杰出代表,通過(guò)了國(guó)家安全可靠測(cè)評(píng),成為openGauss用戶(hù)最多,覆蓋最廣的商業(yè)發(fā)行版。

解決方案:助力聯(lián)通商城App自主升級(jí)

根據(jù)中國(guó)聯(lián)通的核心需求,海量數(shù)據(jù)依托全棧技術(shù)實(shí)力與行業(yè)經(jīng)驗(yàn)積淀,在此次中國(guó)聯(lián)通商城系統(tǒng)數(shù)據(jù)庫(kù)自主創(chuàng)新中深度融合底層基礎(chǔ)設(shè)施優(yōu)化與上層業(yè)務(wù)場(chǎng)景特性,通過(guò)硬件資源配置優(yōu)化、數(shù)據(jù)庫(kù)內(nèi)核深度調(diào)優(yōu)及數(shù)據(jù)庫(kù)強(qiáng)同步的架構(gòu)設(shè)計(jì)提供了"硬件擴(kuò)容+參數(shù)調(diào)優(yōu)+架構(gòu)設(shè)計(jì)"三位一體的解決方案:

磁盤(pán)容量告急,IO性能瓶頸

問(wèn)題

原數(shù)據(jù)庫(kù)存儲(chǔ)空間僅剩1TB,未來(lái)5年需承載8TB數(shù)據(jù);磁盤(pán)讀寫(xiě)速度不足,拖慢業(yè)務(wù)響應(yīng)。

突破

?擴(kuò)容方案:部署8塊3.84TB高性能SAS SSD,RAID10配置,容量提升至15.36TB,讀寫(xiě)速度翻倍(讀4000MB/s,寫(xiě)2000MB/s)。

?智能壓縮:行存表壓縮技術(shù)節(jié)省50%存儲(chǔ)空間,填充因子優(yōu)化再提升20%利用率。

CPU高負(fù)載,內(nèi)存分配不合理

問(wèn)題

CPU因IO等待消耗60%資源,內(nèi)存動(dòng)態(tài)區(qū)利用率僅1%。

突破

?參數(shù)調(diào)優(yōu):共享內(nèi)存擴(kuò)容至128GB,數(shù)據(jù)緩存命中率提升,物理IO減少;排序、批量操作效率顯著優(yōu)化。

?資源再分配:動(dòng)態(tài)內(nèi)存精準(zhǔn)調(diào)控,釋放冗余資源,CPU負(fù)載下降30%。

業(yè)務(wù)連續(xù)性保障

問(wèn)題

遷移需確保RTO≤30分鐘、RPO=0(零數(shù)據(jù)丟失)。

突破

?1主1備強(qiáng)同步架構(gòu):支持秒級(jí)故障切換,極端場(chǎng)景人工介入兜底,業(yè)務(wù)無(wú)感知遷移。

?全量備份帶寬升級(jí):25GE網(wǎng)卡保障6小時(shí)內(nèi)完成8.9TB備份,峰值帶寬達(dá)432MB/s。

項(xiàng)目亮點(diǎn):構(gòu)筑通信行業(yè)數(shù)據(jù)基石

前瞻性設(shè)計(jì):5年數(shù)據(jù)增長(zhǎng)預(yù)判,容量與性能雙冗余,支撐長(zhǎng)期業(yè)務(wù)擴(kuò)展。

國(guó)產(chǎn)化適配:全棧國(guó)產(chǎn)化方案安全可控。

極簡(jiǎn)遷移:物理流復(fù)制技術(shù)實(shí)現(xiàn)數(shù)據(jù)無(wú)縫遷移,業(yè)務(wù)停機(jī)時(shí)間趨近于零。

成本最優(yōu):硬件資源按需調(diào)配,避免過(guò)度投資,TCO(總擁有成本)降低25%。

客戶(hù)價(jià)值

性能飛躍:查詢(xún)效率提升40%,高并發(fā)場(chǎng)景下系統(tǒng)穩(wěn)定性達(dá)99.99%。

風(fēng)險(xiǎn)可控:從參數(shù)優(yōu)化到架構(gòu)解耦,系統(tǒng)性降低運(yùn)維復(fù)雜度。

行業(yè)標(biāo)桿:為大型企業(yè)數(shù)據(jù)庫(kù)擴(kuò)容與國(guó)產(chǎn)化替代提供可復(fù)制的技術(shù)范本。

中國(guó)聯(lián)通商城系統(tǒng)此次數(shù)據(jù)庫(kù)自主創(chuàng)新不僅是技術(shù)的升級(jí),更是業(yè)務(wù)韌性的全面躍遷。通過(guò)“硬件擴(kuò)容+參數(shù)優(yōu)化+架構(gòu)設(shè)計(jì)”三位一體的解決方案,成功破解高負(fù)載、低效率難題,為千萬(wàn)級(jí)用戶(hù)提供絲滑體驗(yàn)。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )