易觀發(fā)布新一代IOTA架構(gòu)去ETL化 引領大數(shù)據(jù)3.0時代

大數(shù)據(jù)浪潮推動科技發(fā)展，從大數(shù)據(jù)1.0的BI/Datawarehouse時代，經(jīng)歷過大數(shù)據(jù)2.0的Web/APP時代，屬于IOT的大數(shù)據(jù)3.0時代已然來臨。近日，Analysys易觀發(fā)布IOTA整體技術(shù)架構(gòu)，為企業(yè)進行數(shù)字用戶分析和營銷貢獻了新工具。

早期大數(shù)據(jù)平臺利用Lambda數(shù)據(jù)架構(gòu)，將收集來的數(shù)據(jù)在流式計算平臺和批量數(shù)據(jù)處理離線平臺進行計算，主要解決實時數(shù)據(jù)處理需求和批量離線處理需求。穩(wěn)定性高、成本可控且便于晚間閑時錯峰計算的Lambda架構(gòu)支撐了起步時期的數(shù)據(jù)行業(yè)，但由于實時與批量計算結(jié)果不一致引起的數(shù)據(jù)口徑問題、ETL批量計算在計算窗口內(nèi)無法完成、數(shù)據(jù)源變化后修改開發(fā)周期長、服務器存儲大等缺陷，后期的Lambda數(shù)據(jù)架構(gòu)越來越無法適應飛速擴增的數(shù)據(jù)處理需求。

Lambda典型架構(gòu)

在Lambda之后，Kappa架構(gòu)成為主流，核心思想是通過改進流計算系統(tǒng)來解決數(shù)據(jù)全量處理的問題，使得實時計算和批處理過程使用同一套代碼，并且只有在必要的時候才會對歷史數(shù)據(jù)進行重復計算。雖然比起Lambda，Kappa結(jié)構(gòu)能夠?qū)崟r和離線代碼統(tǒng)一起來，既方便維護又解決了數(shù)據(jù)口徑不一致問題，但其缺點也很明顯：流式處理對于歷史數(shù)據(jù)的高吞吐量力不從心，開發(fā)周期長，服務器成本浪費嚴重。

Kappa典型架構(gòu)

而在IOT大潮下，智能手機、PC、智能硬件設備的計算能力越來越強，而業(yè)務需求要求數(shù)據(jù)實時響應需求能力也越來越強，過去傳統(tǒng)的中心化、非實時化數(shù)據(jù)處理的思路已經(jīng)不適應現(xiàn)在的大數(shù)據(jù)分析需求，Analysys易觀提出新一代的大數(shù)據(jù)IOTA架構(gòu)來解決上述問題，整體思路是設定標準數(shù)據(jù)模型，通過邊緣計算技術(shù)把所有的計算過程分散在數(shù)據(jù)產(chǎn)生、“去ETL化”、計算和查詢過程當中，以統(tǒng)一的數(shù)據(jù)模型貫穿始終，從而提高整體的預算效率，同時滿足即時計算的需要，可以使用各種Ad-hoc Query來查詢底層數(shù)據(jù)：

IOTA整體技術(shù)結(jié)構(gòu)

凝聚了Analysys易觀團隊多年心血的IOTA架構(gòu)，解決了傳統(tǒng)技術(shù)中ETL和相關開發(fā)的痛點，提高了整體數(shù)據(jù)分析效率；Ad-hoc即時查詢功能使用戶無需多等就能直接查詢到前幾秒發(fā)生的事件；邊緣計算技術(shù)解除了中央端集中處理的限制，將計算過程分散到數(shù)據(jù)產(chǎn)生、存儲和查詢端，同時確?？蛻舳藗魉蛿?shù)據(jù)時能馬上進行反饋。

IOTA架構(gòu)實現(xiàn)方法

為了驗證IOTA架構(gòu)，Analysys易觀也自主設計并實現(xiàn)了“秒算”引擎，目前支持易觀內(nèi)部月活5.5億設備端同時進行計算。此外基于“秒算”引擎，Analysys易觀研發(fā)出了可以獨立部署在企業(yè)客戶內(nèi)、進行數(shù)字用戶分析和營銷的“易觀方舟”精細化運營產(chǎn)品。

Analysys易觀認為，在大數(shù)據(jù)3.0時代，Lambda大數(shù)據(jù)架構(gòu)已經(jīng)無法滿足企業(yè)用戶日常大數(shù)據(jù)分析和精益運營的需要，去ETL化的IOTA大數(shù)據(jù)架構(gòu)才是未來。Lambda大數(shù)據(jù)架構(gòu)為大數(shù)據(jù)分析行業(yè)提供了創(chuàng)新思維和技術(shù)基礎，Analysys易觀以此為基礎，將繼續(xù)致力于互聯(lián)網(wǎng)企業(yè)的用戶與產(chǎn)品運營。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。