利用RAG有效解決大模型幻覺,向量數(shù)據(jù)庫公司Zilliz做對了什么?

過去一年,大模型的爆火讓越來越多的人關(guān)注到向量數(shù)據(jù)庫這一賽道。一時(shí)間,與向量數(shù)據(jù)庫有關(guān)的諸多問題頻頻引發(fā)熱議:被 NVIDIA CEO 黃仁勛公開提及的 Milvus 是什么?向量數(shù)據(jù)庫如何減少大模型幻覺?向量數(shù)據(jù)庫的原理是什么?向量數(shù)據(jù)庫的應(yīng)用場景有哪些?向量數(shù)據(jù)庫的排名如何?主流的向量數(shù)據(jù)庫有哪些?云原生分布式向量數(shù)據(jù)庫有哪些優(yōu)勢?……行業(yè)對于向量數(shù)據(jù)庫的諸多討論無不釋放出一個(gè)信號(hào):向量數(shù)據(jù)庫正在大模型時(shí)代扮演著重要的角色。

近期, 全球領(lǐng)先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 2023 年度總結(jié)。作為賽道的龍頭公司,Zilliz 的每一步都是業(yè)界關(guān)注的焦點(diǎn),因此其年度復(fù)盤一經(jīng)公布,便引起行業(yè)側(cè)目。總體來看,Zilliz 無論在產(chǎn)品打磨、社區(qū)發(fā)展還是商業(yè)化進(jìn)程方面,都取得了亮眼的成績,具體可以從技術(shù)迭代、產(chǎn)品更新、商業(yè)化進(jìn)程、社區(qū)發(fā)展、生態(tài)建設(shè)、技術(shù)布道等 9 個(gè)維度進(jìn)行解讀。

1. 里程碑事件

過去一年,Zilliz 經(jīng)歷了 4 個(gè)重要的節(jié)點(diǎn):

生態(tài)方面,與 OpenAI、NVIDIA 等成為戰(zhàn)略合作伙伴;

社區(qū)方面,Milvus 2.3.0 版本上線,Milvus Github Star 數(shù)實(shí)現(xiàn) 25,000,用戶數(shù)超 10,000,000 人;

商業(yè)化方面,Zilliz Cloud 在海內(nèi)外上線,并覆蓋全球 前TOP 四朵云,云上注冊的企業(yè)用戶數(shù)超 40,000 人;

技術(shù)布道方面:全年舉行/參與近百場線上線下活動(dòng)、累計(jì)發(fā)布 百余篇 技術(shù)文章,賦能開發(fā)者。

2. 社區(qū)建設(shè)再上新臺(tái)階

Milvus 作為最受歡迎的開源向量數(shù)據(jù)庫,全年共實(shí)現(xiàn) 20 次版本迭代,平均每 2 周迭代 1 次,持續(xù)建設(shè)強(qiáng)大的社區(qū)支持能力。

3. 商業(yè)化實(shí)現(xiàn)從 0 到 1,迅速開疆辟土

2023 年對于 Zilliz 而言是重要一年,不僅實(shí)現(xiàn)了從 0 到 1 的商業(yè)化進(jìn)程的跨越,商業(yè)化產(chǎn)品 Zilliz Cloud 更是實(shí)現(xiàn)了 AWS、Azure、GCP、阿里云全球 4 大云 10 個(gè)節(jié)點(diǎn)的全覆蓋,至此,Zilliz 成為全球首個(gè)提供海內(nèi)外多云服務(wù)的向量數(shù)據(jù)庫企業(yè)。2024 年,Zilliz Cloud 計(jì)劃持續(xù)增加對更多云和節(jié)點(diǎn)的支持,滿足用戶進(jìn)行全球化業(yè)務(wù)布局的需求。

從用戶方面來看,Zilliz Cloud 廣受海內(nèi)外用戶好評,云上注冊用戶超 40K,覆蓋全球大多數(shù)主流國家與地區(qū)。同時(shí),Zilliz Cloud 的付費(fèi)用戶覆蓋各行各業(yè),分布在北美、歐洲、中國、日韓、東南亞等國家和地區(qū),成為主流大模型公司及需處理不同規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)公司的首選產(chǎn)品。

2024 年,伴隨著 Zilliz Cloud 的海內(nèi)外付費(fèi)用戶數(shù)量的不斷增長,Zilliz 的商業(yè)化進(jìn)程亦將踏入下一個(gè)快速發(fā)展的新階段。

4. 技術(shù)上新,從未止步

Milvus 迭代

過去一年,Milvus 始終保持著每 1-2 周更新一次版本的迭代速度,在 Zilliz 技術(shù)團(tuán)隊(duì)和社區(qū)成員的共同努力下,Milvus 也向著更穩(wěn)、更輕、更強(qiáng)的方向演進(jìn):

2023 年 2 月,Milvus 發(fā)布 2.2.3 系列,上線不停機(jī)滾動(dòng)升級、Coordinator 高可用(HA)等新功能,后續(xù)通過在多個(gè)版本中持續(xù)改進(jìn),逐漸變得更加穩(wěn)定,最終實(shí)現(xiàn)了零停機(jī)時(shí)間的滾動(dòng)升級。

2023 年 3 月,Milvus 2.3 Beta(GPU) 版本上線,相比于 CPU 版本,性能提升 10 倍。

2023 年 4 月,輕量版 Milvus——Milvus Lite 上線,為沒有專業(yè)運(yùn)維團(tuán)隊(duì)支撐、安裝部署環(huán)境受限的群體提供了新的可能。

2023 年 5 月 Milvus 發(fā)布 2.2.9 版本,支持 JSON 數(shù)據(jù)類型,增加了 Dynamic Schema、PartitionKey 等。

2023 年 8 月,Milvus 2.3.0 正式上線,帶來了如 GPU 支持、Query 架構(gòu)升級、更強(qiáng)的負(fù)載均衡調(diào)度能力、新的消息隊(duì)列、Arm 版本鏡像、可觀測性、運(yùn)維工具升級 MMap 等能力。其中,與傳統(tǒng)的內(nèi)存索引相比,MMap 可以實(shí)現(xiàn)內(nèi)存節(jié)省10倍以上,對 RAG 應(yīng)用尤其有益。

2023 年 12 月,Milvus 2.3.4 版本上線,對內(nèi)存管理、協(xié)程處理和 CPU 優(yōu)化進(jìn)行了顯著改進(jìn)。這些改進(jìn)使得在單個(gè)集群中創(chuàng)建數(shù)萬個(gè) Collection 變得可行,從而可以使用一個(gè) Collection 一個(gè)租戶的方式支持多租戶。

向量數(shù)據(jù)庫評測產(chǎn)品上線

2023 年 6 月,全球首個(gè)向量數(shù)據(jù)庫性能測評軟件 VectorDB Bench 正式開源及上線,收錄了包括 Milvus、Zilliz Cloud、Elastic Cloud、PgVector 、Redis 等在內(nèi)的 9 大主流產(chǎn)品,可幫助開發(fā)者全面、客觀、高效地評估向量數(shù)據(jù)庫。

大模型時(shí)代的其他開源產(chǎn)品

除了 Milvus,在大模型浪潮下,Zilliz 技術(shù)團(tuán)隊(duì)也相應(yīng)推出了如 OSSChat、GPTCache 這樣適配技術(shù)趨勢的產(chǎn)品:

2023 年 4 月,業(yè)界首個(gè)服務(wù)于開源項(xiàng)目的知識(shí)問答機(jī)器人 OSSChat 上線,接入 Kafka、Elasticsearch、Spark 等熱門開源項(xiàng)目,用戶數(shù)量達(dá) 20K,覆蓋中國、美國、印度、德國等多個(gè)國家。同時(shí),Zilliz 也開放了 OSSChat 背后的技術(shù)——開源的 RAG 框架 Akcio,持續(xù)為大模型時(shí)代的開發(fā)者賦能。

與此同時(shí),大模型的語義緩存層 GPTCache 上線,在有效提升大模型性能、提升開發(fā)效率的同時(shí),還可幫助用戶減少開發(fā)成本。上線短短 30 天,GitHub Star 數(shù)便突破 3K,目前下載量近 1.35M。

Zilliz Cloud 迭代

2023 年,Zilliz Cloud 先后登陸 GCP、AWS、阿里云、Azure,為海內(nèi)外用戶提供基于 Milvus 的云原生服務(wù)。同時(shí),Zilliz Cloud 通過一次次的技術(shù)迭代,真正實(shí)現(xiàn)了“更強(qiáng)、更快”“更易用、更智能”:

更強(qiáng)、更快

Zilliz Cloud 可提供百億級向量數(shù)據(jù)毫秒級檢索能力。

Zilliz 綜合性能是Milvus 開源引擎的 2 倍以上,引擎針對典型場景進(jìn)行深度優(yōu)化,性能可提升 3-5 倍。

2023 年 9 月,支持 ElasticSearch to Zilliz Cloud、Data Migration Across Zilliz Cloud Clusters 和 Advance Pay。

2023 年 11 月,支持系列內(nèi)核新功能:Range Search、Consine、Upsert 等。

更易用、更智能

2023 年 5 月,上線 Serverless 免費(fèi)實(shí)例,為用戶提供企業(yè)級能力(Organization、Collaboration、RBAC)。

2023 年 12月,上線全托管的 BYOC 向量數(shù)據(jù)庫服務(wù)。

2023 年 12 月,上線 Pipelines 助力 RAG 應(yīng)用開發(fā)。

5. 深入線上線下活動(dòng),賦能開發(fā)者

2023 年,Zilliz 累計(jì)發(fā)布 100+ 技術(shù)文章,各個(gè)渠道累計(jì)閱讀量 150K+:

2023 年,Zilliz 共策劃了 15 場線上直播 & 線下 Meetup,參與者超 30K:

2023 年,Zilliz 在 Bilibili 共發(fā)布技術(shù)視頻 25個(gè),累計(jì)播放量達(dá) 47K+:

此外,Zilliz 參與/舉辦了近百場技術(shù)大會(huì)、活動(dòng):

6. 論文持續(xù)入選頂會(huì)

截止目前,Zilliz 技術(shù)團(tuán)隊(duì)多篇論文入選數(shù)據(jù)庫三大國際頂會(huì),引領(lǐng)向量數(shù)據(jù)庫技術(shù)的發(fā)展

—— ICDE、VLDB、SIGMOD

7. 合規(guī)方面成果顯著

在合規(guī)方面,Zilliz 也走在行業(yè)前列:

通過 SOC 2 Type Ⅱ 有關(guān)安全性、可用性及保密性的體系認(rèn)證

通過 ISO27001 有關(guān)信息安全的 ANNB 和 UKAS 認(rèn)證(美國和國際雙認(rèn)證)

GDPR 合規(guī)標(biāo)準(zhǔn)完善中,并將于 2024 年上半年完成

8. 獲得行業(yè)及專業(yè)媒體的高度肯定

9. 贏得 5000 +企業(yè)級用戶信賴

很榮幸,截止 2023 年 12 月31 日,Zilliz 已經(jīng)贏得了 5000+ 企業(yè)級用戶的信賴。

踏上 2024 年的征程,Zilliz 期待與諸位繼續(xù)同行,一路繁花!

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )