隨著企業(yè)數(shù)字化轉(zhuǎn)型的持續(xù)深入，數(shù)據(jù)分析呈現(xiàn)四大趨勢(shì)：第一，數(shù)據(jù)類型多元化，由以結(jié)構(gòu)化為主轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化、實(shí)時(shí)數(shù)據(jù)共存;第二，分析場(chǎng)景多樣化，由以統(tǒng)計(jì)分析為主轉(zhuǎn)變?yōu)榻y(tǒng)計(jì)分析、標(biāo)簽分析、全文檢索、 預(yù)測(cè)分析、推理分析共存;第三，分析時(shí)效實(shí)時(shí)化，由以離線分析為主轉(zhuǎn)變?yōu)閷?shí)時(shí)分析、交互分析、自助分析和智能分析;第四，數(shù)據(jù)管控統(tǒng)一化，由以弱管控轉(zhuǎn)變?yōu)閺?qiáng)管控，統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一存儲(chǔ)、統(tǒng)一治理、統(tǒng)一視圖。
數(shù)據(jù)平臺(tái)的演進(jìn)經(jīng)歷了如下幾個(gè)階段：
八十年代誕生的數(shù)據(jù)庫(kù)，解決了企業(yè)數(shù)據(jù)高效的事務(wù)性處理;
九十年代誕生的數(shù)據(jù)倉(cāng)庫(kù)，核心思路是把數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行一定格式轉(zhuǎn)換后，定時(shí)地復(fù)制至另一個(gè)庫(kù)里做列式存儲(chǔ)，從而滿足企業(yè)查詢和數(shù)據(jù)分析的訴求;
2000 年后，隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)量暴增，非結(jié)構(gòu)化數(shù)據(jù)越來越多，企業(yè)業(yè)務(wù)變化越來越快，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)無法適應(yīng)大數(shù)據(jù)以及現(xiàn)代化企業(yè)對(duì)于實(shí)時(shí)、交互式分析等方面的訴求。數(shù)據(jù)湖因此誕生，它選擇了“前松后緊”的設(shè)計(jì)思路，初始化階段放棄嚴(yán)格的模式，后置 schema，從而獲取更強(qiáng)的靈活性，同時(shí)通過統(tǒng)一存儲(chǔ)管理和計(jì)算優(yōu)化來保證數(shù)據(jù)的一致性和性能;
近年來出現(xiàn)的湖倉(cāng)一體架構(gòu)，解決了數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)體系的割裂，在架構(gòu)上把數(shù)據(jù)湖的靈活性、數(shù)據(jù)豐富性與數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)級(jí)戰(zhàn)略/戰(zhàn)術(shù)分析支持能力進(jìn)行融合，逐步演進(jìn)成為集多源異構(gòu)數(shù)據(jù)統(tǒng)一儲(chǔ)存、多模型計(jì)算分析及統(tǒng)一數(shù)據(jù)治理的大數(shù)據(jù)綜合解決方案;
解決客戶的多元化數(shù)據(jù)類型，多樣化分析，實(shí)時(shí)數(shù)據(jù)分析和統(tǒng)一數(shù)據(jù)管控，建設(shè)湖倉(cāng)一體平臺(tái)是現(xiàn)階段最優(yōu)解。
“湖+倉(cāng)” vs“湖倉(cāng)一體”
“湖倉(cāng)一體”時(shí)代，數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)通過ETL打通，架構(gòu)上仍各自獨(dú)立。數(shù)據(jù)湖從各類數(shù)據(jù)源接入原始數(shù)據(jù)，永久不刪，數(shù)據(jù)從數(shù)據(jù)湖遷移至數(shù)據(jù)倉(cāng)庫(kù)，支持分析場(chǎng)景。雖然這種方式可快速利用已有的數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)資產(chǎn)，但是湖和倉(cāng)仍然各自獨(dú)立，架構(gòu)復(fù)雜，數(shù)據(jù)存多份且實(shí)效性慢，資源成本和運(yùn)維成本依舊很高。
“湖倉(cāng)一體”時(shí)代，通過統(tǒng)一資源管控，統(tǒng)一分布式存儲(chǔ)管理來支持多種存儲(chǔ)模型，統(tǒng)一分布式計(jì)算引擎，統(tǒng)一數(shù)據(jù)接口，實(shí)現(xiàn)湖倉(cāng)一體架構(gòu)，在技術(shù)上，具備存算解耦、彈性擴(kuò)展、多租戶、多計(jì)算引擎、分級(jí)資源管理等能力;在功能上，兼具數(shù)倉(cāng)的標(biāo)準(zhǔn)SQL、ACID，數(shù)據(jù)湖的大規(guī)模異構(gòu)數(shù)據(jù)存儲(chǔ)等能力;對(duì)下，提供統(tǒng)多種數(shù)據(jù)接入形式，支持多云、混合云及跨云部署;對(duì)上，提供多種數(shù)據(jù)操作方式和接口，支持多種操作語言。
星環(huán)“湖倉(cāng)一體”的解決之道
星環(huán)科技(星環(huán)信息科技)的湖倉(cāng)一體解決方案，從下到上包含如下層次：1)信創(chuàng)自主可控硬件生態(tài)，支持多種國(guó)產(chǎn)CPU，服務(wù)器和操作系統(tǒng);2)云原生底座，實(shí)現(xiàn)了基礎(chǔ)設(shè)施資源的統(tǒng)一管理;3)統(tǒng)一的分布式存儲(chǔ)管理，支持庫(kù)表存儲(chǔ)、文本存儲(chǔ)、對(duì)象存儲(chǔ)，鍵值存儲(chǔ)、時(shí)序存儲(chǔ)、事件存儲(chǔ)、時(shí)空存儲(chǔ)、圖存儲(chǔ)、全文引擎等多種模型存儲(chǔ)統(tǒng)一管理;4)統(tǒng)一分布式計(jì)算引擎，支持分析型處理、操作型處理及實(shí)時(shí)處理等多種計(jì)算類型;5)統(tǒng)一數(shù)據(jù)操作/數(shù)據(jù)接口，支持交互式報(bào)表分析、即席查詢、實(shí)時(shí)分析、圖像文本分析、預(yù)測(cè)性分析及多場(chǎng)景的數(shù)據(jù)探測(cè)分析，極大方便生態(tài)應(yīng)用;6)統(tǒng)一數(shù)據(jù)管理，實(shí)現(xiàn)了多模型數(shù)據(jù)和元數(shù)據(jù)的統(tǒng)一管理;7)統(tǒng)一多租戶管理，在資源層，應(yīng)用層和數(shù)據(jù)層實(shí)現(xiàn)了多租戶隔離。
星環(huán)“湖倉(cāng)一體”的邏輯架構(gòu)：星環(huán)的湖倉(cāng)一體 的邏輯架構(gòu)，實(shí)現(xiàn)了 N 數(shù)據(jù)源到1 數(shù)據(jù)湖，到 N 數(shù)倉(cāng)和數(shù)集，到 1 數(shù)據(jù)接口，再到到 N 數(shù)據(jù)服務(wù)的總體邏輯架構(gòu)。
星環(huán)“湖倉(cāng)一體”的技術(shù)架構(gòu)：星環(huán)湖倉(cāng)一體的技術(shù)架構(gòu)，核心是星環(huán)科技多模數(shù)據(jù)統(tǒng)一架構(gòu)，它的核心價(jià)值是：1)將多個(gè)操作訪問入口變?yōu)橐粋€(gè)入口;2)將多種數(shù)據(jù)庫(kù)語言變?yōu)橐环N語言;3)將多套計(jì)算引擎變?yōu)橐惶滓?4)將多份計(jì)算資源變?yōu)橐环葙Y源;5)將分散存儲(chǔ)管理變?yōu)榻y(tǒng)一存儲(chǔ)管理;6)將多份數(shù)據(jù)資產(chǎn)變?yōu)橐环輸?shù)據(jù)資產(chǎn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
