ClickHouse 的發(fā)展
近十年以來，交互式分析領域百花齊放，大量解決方案隨著大數(shù)據(jù)技術升級而涌現(xiàn)，但尚未有產品達到類似 Oracle 和 MySQL 一樣在 OLTP(Online Transaction Processing)領域中領先的地位。其中，ClickHouse 作為一款 PB 量級的交互式分析數(shù)據(jù)庫，最早是由號稱“俄羅斯 Google ”的 Yandex 公司開發(fā)，并很快作為世界第二大網(wǎng)絡引擎的流量分析平臺 Yandex.Metrica(同類產品包括 Google Analytics、友盟統(tǒng)計)的核心查詢引擎。
綜合來說，ClickHouse 作為交互式分析數(shù)據(jù)庫，有幾大明顯優(yōu)勢：
多：大規(guī)模并行計算框架，超高吞吐的實時寫入能力;
快：極致的查詢性能，尤其是在大寬表為主體的數(shù)據(jù)模型中;
好：無侵入式架構，輕松集成到現(xiàn)有系統(tǒng)，可復用上下游數(shù)據(jù)開發(fā)工具;
省：充分利用硬件資源，以極低的成本分析海量數(shù)據(jù);
DB-Engine 上 ClickHouse 的排名趨勢圖
自 2016 年開源以來，ClickHouse 憑借其數(shù)倍于其他頂尖交互式分析數(shù)據(jù)庫的極致性能，成為該領域的后起之秀，發(fā)展速度非常迅猛。截止 2021 年 8 月份，ClickHouse 已在 Github 上獲得 18.2K Star，DB-Engines 排名近一年上升 16 位，并在國內獲得字節(jié)跳動、快手、京東等互聯(lián)網(wǎng)企業(yè)的生產級使用。
ClickHouse與字節(jié)跳動的故事
近年來，字節(jié)跳動旗下抖音、今日頭條等產品的成長速度之快引人注目。事實上，承載著這些產品持續(xù)高速增長的關鍵所在，是背后的中臺化技術底座。無論是在算法、AI 還是數(shù)據(jù)分析等核心技術上，字節(jié)跳動在相關領域中一直保持著領先水平。
字節(jié)跳動：中臺化的技術底座
其中字節(jié)跳動對 ClickHouse 的選型和使用也是如此，從 2017 年最早的用戶行為分析場景開始，逐漸開始支持廣告業(yè)務、用戶增長、A/B測試、算法模型優(yōu)化等大量內部場景，并演化成國內最大規(guī)模的ClickHouse使用者。
目前字節(jié)內部的 ClickHouse 節(jié)點總數(shù)超過1萬5千個，管理總數(shù)據(jù)量超過600PB，最大的集群規(guī)模在 2400 余個節(jié)點。字節(jié)跳動內部廣泛的業(yè)務增長分析很多都建立在ClickHouse為基礎的查詢引擎上。
在從 0 到 15000 節(jié)點的過程中，字節(jié)跳動的技術團隊也遇到了很多開源 ClickHouse 的運維痛點和技術挑戰(zhàn)。如多表關聯(lián)查詢、復雜嵌套子查詢等復雜場景下，仍有性能不足、無法支持數(shù)據(jù)按條更新、實時數(shù)據(jù)寫入的性能有限、集群擴展難度較高、運維復雜度高等問題。
對此，隨著業(yè)務場景持續(xù)增多，字節(jié) ClickHouse 技術團隊通過自研的方式極大地豐富了 ClickHouse 可使用的場景，提高運維的人效，不僅解決了開源技術上手難和試錯成本高的痛點，同時已經(jīng)有足夠能力來提供商業(yè)產品和企業(yè)級技術支持服務。
火山引擎正式發(fā)布ByteHouse
過去，與開源社區(qū)用戶的交流中，經(jīng)常聽到的反饋是 ClickHouse “上手容易，用好很難”，或由于沒有經(jīng)驗而“想用不敢用”，這對于性能如此出眾的存儲引擎來說，不免遺憾。
現(xiàn)在，字節(jié)跳動旗下企業(yè)級技術服務平臺火山引擎正式對外發(fā)布「ByteHouse」，為大家提供企業(yè)級技術支持服務。作為 ClickHouse企業(yè)版，ByteHouse經(jīng)過了字節(jié)跳動內部海量數(shù)據(jù)場景的打磨和極限的業(yè)務要求，更加符合企業(yè)高速增長訴求，其主要亮點如下：
分布式查詢增強：支持星型模型等復雜的多表關聯(lián)場景，進一步去除數(shù)據(jù)冗余和數(shù)據(jù)準備成本;
支持Upsert 語義：既保留了ClickHouse高效的數(shù)據(jù)寫入性能、又支持 Upsert(update or insert) 寫入方式，幫助業(yè)務更簡單地開發(fā)實時分析應用;
實時數(shù)據(jù)引擎：支持實時數(shù)據(jù)高效寫入，支持 exactly once 語義，寫入性能遠超原生架構;
數(shù)據(jù)分級存儲：冷熱數(shù)據(jù)分級存儲在HDFS和本地存儲，自動化管理數(shù)據(jù)熱度，自動轉存不同存儲，有效緩解業(yè)務存儲空間持續(xù)增長的問題;
企業(yè)級運維工具：自助運維能力，包括配置下發(fā)、指標告警、集群健康度監(jiān)控、查詢任務診斷、集群負載管理等功能，極大提高了運維人效。
作為國內 ClickHouse 技術的多年深度實踐者，ByteHouse 現(xiàn)基于自研技術能力和超大規(guī)模使用經(jīng)驗，為更多的企業(yè)大數(shù)據(jù)團隊帶來新的選擇和支持，以應對復雜多變的業(yè)務需求，高速增長的數(shù)據(jù)場景。未來，ByteHouse 將不斷以字節(jié)跳動和外部最佳實踐輸出給行業(yè)用戶，幫助企業(yè)更好地構建交互式大數(shù)據(jù)分析平臺，并更廣泛的與 ClickHouse 研發(fā)者社群共享經(jīng)驗，共同推動 ClickHouse 社區(qū)的發(fā)展。
ByteHouse中文產品官網(wǎng)：https://bytehouse.cn/product/enterprise-clickhouse
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
