無(wú)論是“海納百川，有容乃大”的開源環(huán)境，還是“群英薈萃，百家爭(zhēng)鳴”的技術(shù)氛圍，屬于國(guó)產(chǎn)數(shù)據(jù)庫(kù)的時(shí)代大幕已經(jīng)在每一位開發(fā)者的眼前緩緩展開。
近期，【國(guó)產(chǎn)數(shù)據(jù)庫(kù)·共話未來(lái)趨勢(shì)】線下沙龍?jiān)谖骱下湎箩∧?，?guó)產(chǎn)數(shù)據(jù)庫(kù)領(lǐng)域資深專家匯聚一堂，共同交流探討數(shù)據(jù)庫(kù)技術(shù)。本次內(nèi)容涵蓋 AI 時(shí)代的向量數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)與 Serverless 等前沿技術(shù)分享，以及如何在 K8s上管理數(shù)據(jù)基礎(chǔ)設(shè)施等議題。
Zilliz 合伙人和技術(shù)總監(jiān) 欒小凡 帶來(lái)《當(dāng) AI-Native 遇到 Cloud-Native，向量數(shù)據(jù)庫(kù)到底應(yīng)該如何做》，分享 Zilliz 在 AI 時(shí)代做了哪些事情，以及從 Zilliz 的角度出發(fā)怎么看待向量數(shù)據(jù)庫(kù)或者非傳統(tǒng)數(shù)據(jù)庫(kù)未來(lái)的發(fā)展。
欒小凡首先提出， AI-Native 時(shí)代的到來(lái)對(duì)于數(shù)據(jù)庫(kù)提出了更多要求，相應(yīng)地開發(fā)者對(duì)其需求也發(fā)生了變化，具體包括以下四個(gè)方面：
非結(jié)構(gòu)化數(shù)據(jù)理解困難。非結(jié)構(gòu)化數(shù)據(jù)(長(zhǎng)文本、視頻、圖片、音頻、生成分子式、推薦信息)無(wú)法通過(guò)簡(jiǎn)單的機(jī)器學(xué)習(xí)算法進(jìn)行 Zero Shot 的理解，大模型的出現(xiàn)給非結(jié)構(gòu)化數(shù)據(jù)理解和處理提供了新的思路，通過(guò)更加通用的方式處理非結(jié)構(gòu)化數(shù)據(jù)成為了可能。
語(yǔ)意正確。AIGC 時(shí)代，查詢不再是準(zhǔn)確 100% 的“正確性”，相關(guān)和上下文更加重要，基于向量檢索的方案成為主流。
數(shù)據(jù)體量龐大。未來(lái)超過(guò)80% 的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，AIGC 時(shí)代數(shù)據(jù)的生成速度遠(yuǎn)超過(guò)去，系統(tǒng)擴(kuò)展性性能至關(guān)重要。
缺乏工具。雖然傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)處理并不簡(jiǎn)單，但由于 ETL、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)等工具在過(guò)去 30 年的發(fā)展，已經(jīng)變得相對(duì)成熟。然而，非結(jié)構(gòu)化數(shù)據(jù)處理的工具鏈才剛剛開始構(gòu)建，這就使得結(jié)構(gòu)化數(shù)據(jù)的處理變得更具挑戰(zhàn)性(相較結(jié)構(gòu)化數(shù)據(jù))。
隨后，欒小凡深度剖析了向量數(shù)據(jù)庫(kù)在 AI 時(shí)代的變化過(guò)程。AI 1.0 時(shí)代，向量數(shù)據(jù)已經(jīng)被廣泛應(yīng)用于機(jī)器學(xué)習(xí)應(yīng)用中，包括推薦、搜索、翻譯、圖搜、風(fēng)控、安防等;大模型時(shí)代的到來(lái)，使得向量數(shù)據(jù)涌現(xiàn)出維度更高、體量更大、用途更廣泛的特征。在此過(guò)程中，全球*的向量數(shù)據(jù)庫(kù) Milvus 也經(jīng)歷從了 1.0 架構(gòu)向 2.0 架構(gòu)演進(jìn)的過(guò)程。
提及當(dāng)時(shí)重新搭建 Milvus 2.0 的決定，欒小凡感慨頗深。彼時(shí)，隨著用戶數(shù)據(jù)體量的增長(zhǎng)，老的架構(gòu)擴(kuò)展性逐漸成為瓶頸;其次，隨著 AI+大模型的快速發(fā)展，對(duì)向量數(shù)據(jù)庫(kù)的功能要求越來(lái)越高，需要更加靈活的數(shù)據(jù)模型和 API;K8s 和云原生逐漸成熟，搭建分布式系統(tǒng)的難度逐漸降低……多種因素加持下，Milvus——這個(gè)集結(jié)了諸多優(yōu)秀技術(shù)人的團(tuán)隊(duì)堅(jiān)持向【做出世界*先進(jìn)向量數(shù)據(jù)庫(kù)系統(tǒng)】的理想靠近。*終，一個(gè)擁有 AI Native + Cloud Native 的 Milvus 2.0 誕生。
Milvus 2.0 架構(gòu)
不過(guò)，欒小凡提到，向量數(shù)據(jù)庫(kù)絕不僅僅是用來(lái)進(jìn)行簡(jiǎn)單的向量檢索，要想真正提升開發(fā)者的開發(fā)效率和使用成本，需要系統(tǒng)開發(fā)者深入理解硬件、存儲(chǔ)、數(shù)據(jù)庫(kù)、AI、高性能計(jì)算、分布式系統(tǒng)、編譯原理、云原生等方方面面，以確保其穩(wěn)定性、性能和易用性。一個(gè)理想的向量數(shù)據(jù)庫(kù)應(yīng)該具備以下特性：數(shù)據(jù)持久化和低成本存儲(chǔ)、高性能查詢、數(shù)據(jù)分布、易于使用、穩(wěn)定可用。向量數(shù)據(jù)庫(kù)是典型的 Big Data Serving 系統(tǒng)，可運(yùn)維可觀測(cè)、智能化。
想要了解更多對(duì)于向量數(shù)據(jù)庫(kù)的知識(shí)，可關(guān)注微信公眾號(hào) Zilliz 獲取。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
