第十屆DTCC在京舉行 浪潮inData破解PB級數(shù)據(jù)挑戰(zhàn)

5月8-10日，中國數(shù)據(jù)庫技術(shù)大會DTCC2019在北京舉行，鉆石贊助商浪潮在大會上展出了數(shù)據(jù)庫一體機inData系統(tǒng)，該系統(tǒng)是一款成熟的HTAP方案，適合于海量事務(wù)實時處理與數(shù)據(jù)實時分析的混合負(fù)載業(yè)務(wù)場景，可以處理PB級數(shù)據(jù)量，解決了大型企業(yè)數(shù)字化轉(zhuǎn)型中的數(shù)據(jù)挑戰(zhàn)。

企業(yè)數(shù)字轉(zhuǎn)型的數(shù)據(jù)挑戰(zhàn)

DTCC是中國數(shù)據(jù)庫和大數(shù)據(jù)領(lǐng)域規(guī)模最大、最具影響力的技術(shù)峰會，本屆大會的主題是“數(shù)據(jù)風(fēng)云 十年變遷”，會議議題集中于過去十年的數(shù)據(jù)庫互聯(lián)網(wǎng)化演進(jìn)以及未來的發(fā)展趨勢。在過去的十年中，傳統(tǒng)關(guān)系型數(shù)據(jù)庫產(chǎn)品一直在不斷采用互聯(lián)網(wǎng)技術(shù)，以應(yīng)對企業(yè)日益增長的訪問壓力和數(shù)據(jù)量。據(jù)IDC預(yù)測，2020年，全球數(shù)據(jù)量會達(dá)到44ZB，2035年會達(dá)到1.9萬ZB?！　?/p>

浪潮inData產(chǎn)品負(fù)責(zé)人表示，很多企業(yè)的數(shù)據(jù)量達(dá)到幾百TB的規(guī)模時，數(shù)據(jù)庫的并發(fā)處理能力和處理延時等技術(shù)指標(biāo)就會下降得很厲害，inData數(shù)據(jù)庫一體機能幫助用戶有效地解決這一問題。

橫向擴(kuò)展的數(shù)據(jù)系統(tǒng)

inData采用了配置KAS存儲虛擬化模塊的浪潮K-DB11g軟件和優(yōu)化的X86服務(wù)器、Flash存儲以及InfiniBand等加速硬件，具備智能分布式存儲、軟硬件極致優(yōu)化器、一體化資源管理等高級功能。

相比于共享統(tǒng)一存儲的傳統(tǒng)數(shù)據(jù)庫，inData最大特點是采用了分布式架構(gòu)，由縱向擴(kuò)展轉(zhuǎn)變?yōu)闄M向擴(kuò)展，從而可以承載PB級數(shù)據(jù)量、處理海量并發(fā)訪問。系統(tǒng)分為計算、存儲和網(wǎng)絡(luò)三個軟硬件緊耦合的資源池，多個數(shù)據(jù)庫計算節(jié)點構(gòu)成RAC集群，配置I/O加速系統(tǒng)的服務(wù)器在KAS統(tǒng)一管理下構(gòu)成存儲池，所有的計算、存儲設(shè)備通過2臺或以上的InfiniBand交換機連接。

存儲虛擬化KAS 讀寫百萬IOPS

KAS采用了多副本、分布式的數(shù)據(jù)存儲管理技術(shù)，數(shù)據(jù)會有2-3重副本，數(shù)據(jù)及副本被同時寫入多組磁盤，系統(tǒng)I/O性能會隨著磁盤數(shù)量的增加線性增長，解決了長期以來的數(shù)據(jù)庫磁盤性能瓶頸，而且，多副本技術(shù)還隔離磁盤故障對于系統(tǒng)的影響，磁盤發(fā)生故障后，系統(tǒng)會繼續(xù)從其他節(jié)點讀取數(shù)據(jù)。

另外，inData會自動統(tǒng)計數(shù)據(jù)的訪問頻次，將經(jīng)常被訪問的“熱點數(shù)據(jù)”存儲在熱點盤——PCIe SSD閃存卡中，不經(jīng)常訪問的數(shù)據(jù)則會存儲在大容量機械磁盤中，兼顧了成本與性能。

性能優(yōu)化，每分鐘數(shù)百萬事務(wù)處理

inData系統(tǒng)能輕松實現(xiàn)百萬級IOPS、海量吞吐與微妙延遲，而且浪潮對于系統(tǒng)進(jìn)行細(xì)致的整體優(yōu)化，這些優(yōu)化技術(shù)很好地降低了磁盤I/O頻次，減少了數(shù)據(jù)熱區(qū)，并且讓系統(tǒng)負(fù)載更合理地分配，讓系統(tǒng)的在線事務(wù)處理能力達(dá)到了每分鐘數(shù)百萬次。

例如獨特的智能過濾技術(shù)。inData在處理需要Full Scan全表掃描的復(fù)雜請求時，計算節(jié)點接收到的大SQL語句會拆分為多個小SQL語句，隨后卸載到各存儲節(jié)點進(jìn)行處理，存儲節(jié)點處理完畢后將結(jié)果集返回計算節(jié)點進(jìn)行整合，然后響應(yīng)給用戶，這樣可以更為有效地利用存儲節(jié)點的計算資源，提高系統(tǒng)性能?！　?/p>

大會上，浪潮介紹了inData在政府行業(yè)的應(yīng)用案例，該用戶的數(shù)據(jù)來源復(fù)雜，包括人物關(guān)聯(lián)表、區(qū)域監(jiān)控錄像、交易記錄、語音、征信等十幾種，數(shù)據(jù)量也十分驚人，浪潮為用戶開發(fā)定制版的inData系統(tǒng)，將原來的OLTP、OLAP整合為統(tǒng)一的HTAP系統(tǒng)，用戶的項目開發(fā)周期縮短了2個月，并減少了50%的數(shù)據(jù)實例節(jié)點。目前，該系統(tǒng)數(shù)據(jù)量為180TB，每天加載數(shù)據(jù)1TB，數(shù)據(jù)生命周期為180天，數(shù)據(jù)量將逐步達(dá)到峰值400TB。

下一代，融合HTAP與Big Data

伴隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，越來越多的企業(yè)開始用HTAP來替代原有的OLAP和OLTP系統(tǒng)。inData為一站交付式設(shè)計，可以開箱即用，并且界面化操作，簡潔易用。浪潮還提供原廠的全程技術(shù)服務(wù)和技術(shù)培訓(xùn)，可以讓用戶更快地跨過應(yīng)用門檻。而且，inData兼容目前各個數(shù)據(jù)庫行業(yè)通行的標(biāo)準(zhǔn)，很好地融入了當(dāng)前的數(shù)據(jù)生態(tài)，降低了后續(xù)維護(hù)的技術(shù)復(fù)雜度和成本支出。　　

據(jù)浪潮inData產(chǎn)品負(fù)責(zé)人透露，浪潮正在開發(fā)下一代inData數(shù)據(jù)庫系統(tǒng)，新一代產(chǎn)品將完成HTAP與Big Data的融合處理能力，集成AI，并且將系統(tǒng)性提升一個數(shù)量級。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。