一口氣推出5款新模型 百度智能云主打大模型應(yīng)用落地“效價(jià)比”

3月21日消息，2023年，大模型在全球范圍爆發(fā)式增長(zhǎng)，經(jīng)過一年的狂飆突進(jìn)似發(fā)展后，業(yè)內(nèi)普遍認(rèn)為2024年是大模型應(yīng)用落地元年。讓企業(yè)客戶愿意、能夠、有效的應(yīng)用大模型能力，成為大模型企業(yè)思考的重點(diǎn)。

自2023年12月以來百度智能云千帆大模型平臺(tái)服務(wù)8萬企業(yè)用戶，累計(jì)幫助用戶精調(diào)1.3萬個(gè)大模型，幫助用戶開發(fā)出16萬個(gè)大模型應(yīng)用。在這份成績(jī)的背后，百度智能云對(duì)服務(wù)企業(yè)落地大模型了也有了一套心法。

百度副總裁謝廣軍在接受媒體采訪時(shí)表示，2024年AI原生應(yīng)用會(huì)加速落地，企業(yè)從探索場(chǎng)景逐步走到落地應(yīng)用，這個(gè)時(shí)候會(huì)遇到模型性能、效果，以及在成本多方面的挑戰(zhàn)。綜合考量“大模型的使用效果、性能以及成本”即“效價(jià)比”，成為企業(yè)落地大模型的核心訴求。

百度副總裁謝廣軍

針對(duì)企業(yè)最關(guān)心的大模型落地場(chǎng)景、使用成本、應(yīng)用開發(fā)、應(yīng)用效果四大挑戰(zhàn)，百度智能云千帆在大模型ModelBuilder、AI原生應(yīng)用開發(fā)工具組件AppBuilder兩個(gè)方面給出了最新“解題思路”。

一方面，為滿足企業(yè)“效價(jià)比”核心訴求，百度千帆ModelBuilder大模型服務(wù)全面升級(jí)，全新發(fā)布3個(gè)輕量級(jí)大模型、2個(gè)垂直場(chǎng)景大模型。

另一方面，百度智能云對(duì)千帆AppBuilder組件能力全面升級(jí)，開放工具組件增至55個(gè)，進(jìn)一步大幅降低AI原生應(yīng)用開發(fā)門檻。

通過這兩條腿齊發(fā)力，以期加速大模型在企業(yè)業(yè)務(wù)中的應(yīng)用落地。

上新5款大模型 最高推理調(diào)用成本下降53%

謝廣軍表示，當(dāng)前業(yè)界已逐漸形成一個(gè)共識(shí)，即模型不見得是參數(shù)規(guī)模越大越好。在很多實(shí)際的場(chǎng)景當(dāng)中，用小尺寸的專家模型也能夠達(dá)到通用大模型的效果，小尺寸專家模型的推理成本會(huì)更低，更便宜。大模型“效價(jià)比”才是企業(yè)核心訴求。

基于這樣的研究方向，百度智能云推出了三款輕量級(jí)大模型。

ERNIE Speed作為三款輕量級(jí)大模型中的“大個(gè)子”，推理場(chǎng)景下?lián)碛凶罡?28k的上下文長(zhǎng)度，在處理知識(shí)問答等任務(wù)時(shí)，能夠更好的處理上下文的依賴關(guān)系，生成更加連貫和準(zhǔn)確的預(yù)測(cè)或回答。同時(shí)，針對(duì)特定場(chǎng)景可以將ERNIE Speed作為基座模型進(jìn)行精調(diào)，模型效果可以追平甚至超過旗艦級(jí)大參數(shù)規(guī)模大模型，效價(jià)比大幅提升。

ERNIE Lite，其參數(shù)量相比ERNIE Speed更小，也更加適合搭載在低算力的AI加速卡上處理推理任務(wù)，在兼顧模型效果與推理性能的同時(shí)，大幅降低客戶落地應(yīng)用成本。作為ERNIE-Bot-turbo模型的升級(jí)版，ERNIE Lite在情感分析、多任務(wù)學(xué)習(xí)、自然推理等場(chǎng)景下的應(yīng)用效果提升了20%。推理調(diào)用成本大幅下降了53%。

ERNIE Tiny，三款輕量級(jí)模型中參數(shù)量最小的大模型，為客戶提供了極致低成本、低延遲的最佳選擇。在檢索、推薦、意圖識(shí)別等高并發(fā)、低延時(shí)等應(yīng)用場(chǎng)景中，ERNIE Tiny的優(yōu)異性能呈現(xiàn)了不俗表現(xiàn)。在某對(duì)話推薦業(yè)務(wù)場(chǎng)景中，精調(diào)后的ERNIE Tiny在搜索引擎推薦詞激發(fā)環(huán)節(jié)，相比ERNIE 3.5，對(duì)話輪次增長(zhǎng)了3.5%，成本下降了32%。

此外，企業(yè)在落地應(yīng)用中，對(duì)大模型在人物扮演、外部工具調(diào)用均有更高的效果要求。本次千帆大模型平臺(tái)ModelBuilder還基于對(duì)企業(yè)場(chǎng)景的深入洞察，結(jié)合百度自身業(yè)務(wù)最佳實(shí)踐沉淀，推出了ERNIE Character和ERNIE Functions兩款垂直場(chǎng)景大模型，分別適配客戶在角色扮演類應(yīng)用場(chǎng)景（如游戲NPC、客服對(duì)話等）和工具調(diào)用場(chǎng)景（對(duì)話中使用外部工具、調(diào)用業(yè)務(wù)函數(shù)等）中的使用需求。

謝廣軍介紹，在企業(yè)實(shí)踐中，某智能硬件廠商，基于ERNIE Character打造智能助理，應(yīng)用該模型后在人設(shè)一致性、激發(fā)并提升用戶聊天欲望等方面效果顯著提升。某旅游出行類APP，使用ERNIE Functions打造智能客服助手，在執(zhí)行訂票、查詢航班狀態(tài)等多種function調(diào)用上準(zhǔn)確性達(dá)到85%。

謝廣軍強(qiáng)調(diào)，新發(fā)布的三款輕量級(jí)模型主要有兩個(gè)使用場(chǎng)景：一是客戶、合作伙伴會(huì)結(jié)合自己的數(shù)據(jù)做垂類場(chǎng)景模型。一是百度也會(huì)基于這些小的基座模型，去開發(fā)一些行業(yè)垂類場(chǎng)景模型，比如做教育行業(yè)的教輔答題和解題等。

向量數(shù)據(jù)庫VDB 1.0亮相 開放工具組件達(dá)55個(gè)

千帆AppBuilder作為產(chǎn)業(yè)級(jí)AI原生應(yīng)用開發(fā)平臺(tái)，是千帆的重要組成部分。

此次升級(jí)后的AppBuilder開放的工具組件多達(dá)55個(gè)。包括基于百度多年技術(shù)積累和自有業(yè)務(wù)沉淀的大模型組件、AI能力組件，也包括搜索等百度特色的業(yè)務(wù)組件、和多場(chǎng)景的第三方API工具，另外還提供了 RAG（知識(shí)檢索問答）、GBI（生成式數(shù)據(jù)分析）等根據(jù)典型應(yīng)用場(chǎng)景深入調(diào)優(yōu)的高級(jí)能力組件。

開發(fā)完成后，應(yīng)用可多渠道分發(fā)與集成，AppBuilder支持將應(yīng)用一鍵分發(fā)到微信客服、微信公眾號(hào)、Web端/H5及百度靈境矩陣等主流渠道?；诎俣褥`境矩陣，應(yīng)用可在百度搜索、百度信息流等主流場(chǎng)景分發(fā)與掛載。真正實(shí)現(xiàn)應(yīng)用開發(fā)出來后，就直接觸達(dá)用戶，打通從AI原生應(yīng)用創(chuàng)建到開發(fā)再到分發(fā)的全流程。

開發(fā)AI原生應(yīng)用離不開云基礎(chǔ)設(shè)施，值得一提的是，本次發(fā)布的基礎(chǔ)組件還包括了百度智能云全新推出的向量數(shù)據(jù)庫VDB 1.0。

謝廣軍表示，大模型火了之后，向量數(shù)據(jù)庫重要性凸顯，它可以幫助減輕幻覺、解決數(shù)據(jù)數(shù)據(jù)更新等問題，也是加速大模型在場(chǎng)景落地的關(guān)鍵技術(shù)。

百度向量數(shù)據(jù)庫VDB1.0既是一項(xiàng)獨(dú)立存在的產(chǎn)品和服務(wù)，是百度智能云的一項(xiàng)基礎(chǔ)設(shè)施，也是作為一項(xiàng)基礎(chǔ)云的組件和能力封裝到了千帆AppBuilder里面。

謝廣軍強(qiáng)調(diào)：“當(dāng)前大模型落地過程中，向量數(shù)據(jù)庫應(yīng)用成本相對(duì)較高，企業(yè)在千帆AppBuilder中組件化利用向量數(shù)據(jù)庫的能力，是一個(gè)性價(jià)比兼具的方案，相比同類開源產(chǎn)品，VDB 1.0性能最高提升10倍，相比付費(fèi)產(chǎn)品，則更省成本。”

模型路由，讓成本再降15%

會(huì)上，謝廣軍還透露了百度智能云的模型路由服務(wù)。百度智能云的模型路由是以降本為目的來做MOE。

謝廣軍表示，模型路由能夠幫助客戶在使用場(chǎng)景中，根據(jù)不同情況選擇不同的能力模型。小模型往往比較擅長(zhǎng)垂類場(chǎng)景，但在實(shí)際使用過程中，這種場(chǎng)景會(huì)非常多，十分泛化，模型路由通過分流，讓在某一垂類問題上更專業(yè)的專家模型來回答，專業(yè)的模型解答專業(yè)的問題。相比旗艦?zāi)Ｐ突蛘吒蟪叽绲哪Ｐ?，小尺寸模型也能達(dá)到同樣甚至趕超的效果，提升性能的同時(shí)降成本。如果都不能回答，就讓大尺寸的模型或者旗艦?zāi)Ｐ蛠怼岸档住薄?/p>

據(jù)介紹，通過百度智能云的模型路由方案，有企業(yè)客戶的模型推理成本降低15%。

謝廣軍稱：“當(dāng)前，ModelRouter已啟動(dòng)邀測(cè)，一些手機(jī)廠商客戶在應(yīng)用過程中已經(jīng)感受到成本的下降，保證業(yè)務(wù)效果不降的情況下，將簡(jiǎn)單的Query調(diào)度到更輕量級(jí)的模型上，使得綜合成本下降?！保ü啵?/p>

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。