數(shù)據倉庫：過去、現(xiàn)在和未來

作者：許江

我經常接觸數(shù)據倉庫建設的需求，而現(xiàn)有的大數(shù)據系統(tǒng)也希望基于大數(shù)據建設數(shù)據倉庫，然而Hadoop為核心發(fā)展起來的軟件適用于OLAP的數(shù)據分析需求，OLTP這樣的分布式數(shù)據庫系統(tǒng)也如火如荼的發(fā)展。

在企業(yè)數(shù)據信息數(shù)據整合過程中，往往都是不同數(shù)據源放到不同的數(shù)據庫系統(tǒng)中，沒有數(shù)據倉庫的規(guī)范化建設，跨部門進行數(shù)據協(xié)作，打破數(shù)據孤島無法實現(xiàn)。

分布式系統(tǒng)，幫助解決這些問題，我們真正深入了解數(shù)據價值的人都知道，建設統(tǒng)一的數(shù)據中心，數(shù)據倉庫，整合行業(yè)數(shù)據可以進行多種維度的數(shù)據分析，數(shù)據驅動決策，幫助企業(yè)創(chuàng)新。目前在金融、電商、廣告等行業(yè)已經大規(guī)模利用新技術取得了不菲的成績。

今天，企業(yè)級數(shù)據分析平臺發(fā)生了很大的變化。

發(fā)生什么了？

那么，對于傳統(tǒng)的數(shù)據倉庫，你有各種各樣的數(shù)據來源。您正在收集、清洗和整合數(shù)據，以便您可以將其呈現(xiàn)在您的數(shù)據倉庫中，進行統(tǒng)計分析、預測分析、商業(yè)智能和其他工作。

好吧，隨著時間的推移，現(xiàn)在變得更加復雜了。

我們有云、有移動設備、社交媒體數(shù)據、機器數(shù)據、傳感器數(shù)據。越來越多的數(shù)據來源，數(shù)據爆發(fā)式增長，非結構化數(shù)據、半結構化數(shù)據、結構化數(shù)據。

有大量的關于大數(shù)據介紹中，你會看到幻燈片談論您必須處理PB級數(shù)據量，才能利用上這些新的數(shù)據分析技術。但是對我來說，這是沒有抓住重點。

數(shù)據倉庫真正的意義是什么？為什么企業(yè)對數(shù)據倉庫支出不斷增加。這是因為不是數(shù)據量和速度問題。隨著發(fā)展，我們只需要增加硬件就能增加我們數(shù)據處理的規(guī)模，這才是分布式系統(tǒng)的強大之處。

萬物互聯(lián)的時代，隨著數(shù)據的多樣性和異質性從而增加數(shù)據分析的復雜性。我們的需求是關聯(lián)和整合這些數(shù)據。但是，我們現(xiàn)有的數(shù)據分析工具，Hadoop或Spark并沒有帶來任何神器的解決方案。我們仍然在努力解決同樣的問題：如何從不同的渠道獲取數(shù)據、然后將他們關聯(lián)起來，這樣企業(yè)可以讓數(shù)據說話，數(shù)據驅動決策。為了解決這些問題，我們需要依賴更多新的工具。

數(shù)據倉庫的演變

利用新技術，使我們能更好的解決實際業(yè)務問題。

那么，我們來看看不同的技術，是如何幫助我們解決與數(shù)據相關的需求，為業(yè)務提供數(shù)據支撐。

OLAP場景的Hadoop解決方案，OLTP場景的NewSQL解決方案。

流水線式的數(shù)據分析

我們看到一個有趣的現(xiàn)象，每個公司幾乎都建立了一個數(shù)據流水線，隨著新數(shù)據的進入，他們利用NoSQL數(shù)據庫來存儲文檔數(shù)據。就像是一個無線容量的數(shù)據庫，擁有很好的擴展性，并且還能進行大數(shù)據量的高速查詢和搜索。

我們可以看到很多大規(guī)模使用MongoDB、Hbase、cassandra數(shù)據庫，還有NewSQL的發(fā)展。

隨著數(shù)據多樣性的出現(xiàn)，出現(xiàn)了很多新型的數(shù)據庫。

新型數(shù)據分析需求

越來越高的數(shù)據分析需求和數(shù)據多樣性的探索，導致了數(shù)據庫系統(tǒng)的蓬勃發(fā)展，國產數(shù)據庫也有了非常大的進步可以進入國際頂級的數(shù)據庫會議發(fā)表論文，2017年騰訊的開源項目VLDB也發(fā)文了，而做為去IOE發(fā)起者的阿里在云端阿里云也如火如荼的發(fā)展數(shù)據庫服務，比如：PolarDB、螞蟻金服金融級數(shù)據庫分布式數(shù)據庫OceanBase都是黑科技級別的產品。為了在云端兼顧OLTP和OLAP的數(shù)據分析引擎，各大云廠商阿里云、騰訊云、XX云都使勁的推廣各自的數(shù)據庫技術，也采取與開源數(shù)據庫廠商廣泛合作的方式。

底層數(shù)據庫系統(tǒng)，特別是NewSQL幾大巨頭也有有在長期招聘相關職位。可見目前分布式OLTP/OLAP數(shù)據庫發(fā)展的勢頭，必然是與Cloud相結合，也只有云化才有機會大把撈金，不然開源數(shù)據庫這樣的生態(tài)下，底層基礎軟件出路在何方？

Analytic DB 的發(fā)展

我們列表?RDBMS -> MPP -> HADOOP -> NOSQL -> NEWSQL?主流的系統(tǒng)，根據我接觸過的公司或產品來列舉，個人認知有限，如未能列表全面，歡迎補充。

RDBMS

MPP

Hadoop ?Ecosystem

NoSQL

NewSQL

雖然NoSQL因其性能、可伸縮性與可用性而廣受贊譽，但其開發(fā)與數(shù)據重構的工作量要大于SQL存儲。因此，有些人開始轉向了NewSQL，它將NoSQL的優(yōu)勢與SQL的能力結合了起來。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。