在近期結束的機器之心 AI 技術論壇上，一場以向量數據庫為主角的主題論壇引發(fā)業(yè)內廣泛關注。該論壇不僅罕見地匯集了國內向量數據庫賽道內的各式公司，更是邀請到行業(yè)巨頭 Zilliz 參會。
現場，Zilliz 合伙人、技術總監(jiān)欒小凡進行了一次揭秘式的前沿思考，為業(yè)界各開發(fā)者提供了不同于以往的參考。
欒小凡表示，海量非結構化數據檢索面臨以下挑戰(zhàn)：
非結構化數據的理解成本更高，基于規(guī)則的處理方案難以適應;
海量非結構化數據的處理性能和成本越來越關鍵;
不同于傳統數據處理，非結構數據缺乏好的工具，如 ETL、數據庫、數倉
而處理非結構化數據的核心是概率。欒小凡解釋道，非結構化的處理是相似度，NLP 中根據上下文推斷可能性，圖像處理關注像素的相似度;而相似度的核心是概率，理解概率的本質是基于大量數據進行 Pretrain 和 Finetune。
隨后，欒小凡進一步解釋了概率對于檢索意味著什么。他表示，搜索和生成是一體兩面，搜索是選擇題，生成是填空題，本質都是概率問題。那么，概率對于檢索意味著什么?想要做對搜索，本質需要挖掘兩種信息：領域內知識和領域外知識。領域外知識見得越多，泛化能力越強，領域內知識見得越大，生成越精確。因為 Pretrain+Finetune 成為了搜索和生成共同的煩事。而搜索的特殊性在于，因為知道答案范圍，所以可以利用概率提前構建范圍，本質是利用 Corpus 的相似性概率。
接下來，欒小凡著重介紹了從概率 1.0 時代到 3.0 時代的主流算法變化，包括 TF-IDF、Word2Vec、BERT 等。在此過程中，向量數據庫的出現，極大地加速了稠密向量查詢性能，使得在生產中落地向量檢索成為了可能。從業(yè)務效果角度來看，盡管單純的向量檢索要強于單純的關鍵詞打分，然而這并非最優(yōu)實現。選擇向量檢索只是由于 cross encoder 等算法代價過高的無奈折中之舉。欒小凡強調，向量檢索不應該只是簡單傳統數據庫 + 向量檢索 Library，隨著場景的不斷發(fā)展，向量數據庫應該從單純的數學 recall 轉向更加復雜的業(yè)務 recall。
在此背景下，向量數據庫未來發(fā)展的一個重要趨勢是【由數據庫向服務轉變】，具體體現在以下六個方面：
關注擴展性，更關注彈性
多云、多機房、異地多活
不僅支持實時寫入，更能做到離在線一體化
開箱即用的 Pipeline 服務
向量數據湖與離線分析
關注向量數據的安全與合規(guī)
目前，Zilliz 正延續(xù)上述方向在產品上不斷升級打磨，其產品 Zilliz Cloud 提供開箱即用的全托管向量檢索服務，已覆蓋全球主流的云平臺，包括 AWS、GCP、Azure、阿里云、金山云。近期，Zilliz Cloud 更是上線了 Pipeline，為用戶實現 RAG 奠定了堅實的基礎。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
