王海峰：文心大模型訓(xùn)練效率提升到5.1倍 推理105倍

4月16日，以“創(chuàng)造未來(lái)”為主題的Create 2024百度AI開(kāi)發(fā)者大會(huì)在深圳國(guó)際會(huì)展中心成功舉辦。百度首席技術(shù)官王海峰以“技術(shù)筑基，星河璀璨”為題，發(fā)表演講，解讀了智能體、代碼、多模型等多項(xiàng)文心大模型的關(guān)鍵技術(shù)和最新進(jìn)展。

自去年3月16日發(fā)布知識(shí)增強(qiáng)大語(yǔ)言模型文心一言以來(lái)，百度不斷迭代升級(jí)文心大模型，技術(shù)創(chuàng)新不斷，從知識(shí)增強(qiáng)、檢索增強(qiáng)，進(jìn)一步發(fā)展出知識(shí)點(diǎn)增強(qiáng)；基于更大的算力、更多的數(shù)據(jù)和更強(qiáng)的算法，依托飛槳平臺(tái)，從文心3.0、3.5，到4.0，文心大模型能力愈加強(qiáng)大，效果和性能全面提升。

王海峰表示，智能體是重要的發(fā)展方向，會(huì)帶來(lái)更多的應(yīng)用爆發(fā)。智能體是在基礎(chǔ)模型上，進(jìn)一步進(jìn)行思考增強(qiáng)訓(xùn)練，包括思考過(guò)程的有監(jiān)督精調(diào)、行為決策的偏好學(xué)習(xí)、結(jié)果反思的增強(qiáng)學(xué)習(xí)，進(jìn)而得到思考模型。智能體的思考模型像人一樣，會(huì)閱讀說(shuō)明書(shū)，學(xué)習(xí)工具的使用方法，進(jìn)而可以調(diào)用工具來(lái)完成任務(wù)。

王海峰解讀了智能體的思考過(guò)程，演示了智能體如何經(jīng)過(guò)思考調(diào)用工具。在文心大模型4.0工具版上，提問(wèn)“我要到大灣區(qū)出差一周。想了解一下天氣變化，好決定帶什么衣服。請(qǐng)幫我查一下未來(lái)一周北京和深圳的溫度，告訴我出差應(yīng)該帶什么衣服，并整理成表格?！敝悄荏w就像人一樣，通過(guò)思考、規(guī)劃，把用戶需求拆解成多個(gè)子任務(wù)，首先調(diào)用“高級(jí)聯(lián)網(wǎng)”工具來(lái)查詢天氣信息，然后調(diào)用“代碼解釋器”畫(huà)溫度趨勢(shì)圖，根據(jù)未來(lái)一周的天氣情況，選擇了合適的衣物，最后對(duì)結(jié)果進(jìn)行思考、確認(rèn)，并自動(dòng)匯總成一個(gè)表格。

從萬(wàn)億級(jí)訓(xùn)練數(shù)據(jù)中，文心大模型既學(xué)到了自然語(yǔ)言的能力，也學(xué)到了代碼能力，打通從思考到執(zhí)行的過(guò)程?；谖男拇竽Ｐ偷倪@兩種能力，百度開(kāi)發(fā)了代碼智能體和智能代碼助手。王海峰表示：“代碼智能體，讓大家都能做之前只有程序員才能做的事，人人都可以成為程序員；智能代碼助手，則幫助專業(yè)的程序員更高效地寫(xiě)出更好的代碼，可以說(shuō)是程序員的AI同儕。”

代碼智能體是在“用模型寫(xiě)代碼讓復(fù)雜的任務(wù)變簡(jiǎn)單”，思考模型加上代碼解釋器，構(gòu)成了代碼智能體。首先，思考模型理解用戶需求，經(jīng)過(guò)思考，把完成任務(wù)的指令和相關(guān)信息整合成提示，輸入給代碼解釋器；然后，代碼解釋器根據(jù)提示，把自然語(yǔ)言表達(dá)的用戶需求翻譯成代碼并執(zhí)行，得到執(zhí)行結(jié)果或者調(diào)試信息；接著，思考模型對(duì)代碼解釋器的執(zhí)行結(jié)果進(jìn)行反思確認(rèn)，如果正確，就把結(jié)果返回給用戶，不正確就繼續(xù)進(jìn)行自主迭代更新。

王海峰演示了用代碼智能體為本次Create大會(huì)嘉賓定制邀請(qǐng)函，代碼智能體首先理解了邀請(qǐng)函模版內(nèi)容，然后生成代碼并執(zhí)行，把嘉賓姓名填寫(xiě)到合適位置，新生成的邀請(qǐng)函文件以嘉賓的名字命名，最后輸出打包好的多張邀請(qǐng)函。

大會(huì)現(xiàn)場(chǎng)，王海峰進(jìn)一步透露，在模型效果不斷提升的基礎(chǔ)上，百度進(jìn)一步構(gòu)建了上下文增強(qiáng)、私域知識(shí)增強(qiáng)、流程無(wú)縫集成等能力。目前智能代碼助手Comate整體采納率達(dá)到了46%，新增代碼中生成的比例已經(jīng)達(dá)到了27%。Comate把代碼理解、生成、優(yōu)化等能力無(wú)縫集成到研發(fā)流程的各個(gè)環(huán)節(jié)，就像助理一樣，幫助提升代碼開(kāi)發(fā)質(zhì)量和效率。Comate展示了幫助工程師接手代碼的過(guò)程，通過(guò)一條簡(jiǎn)單的指令，就可以快速了解整個(gè)代碼的架構(gòu)，甚至是每一個(gè)模塊的具體實(shí)現(xiàn)邏輯，還可以根據(jù)當(dāng)前的項(xiàng)目代碼以及第三方代碼自動(dòng)生成滿足要求的新代碼。

王海峰現(xiàn)場(chǎng)還分享了多模型技術(shù)。他表示，在大模型應(yīng)用落地過(guò)程中，效果，效率和成本都很重要。在實(shí)際應(yīng)用中，需要從場(chǎng)景需求出發(fā)，選擇最適合的模型。一方面，是高效低成本的模型生產(chǎn)；另一方面，是多模型推理。高效低成本模型生產(chǎn)方面，百度研制了大小模型協(xié)同的訓(xùn)練機(jī)制，可以有效進(jìn)行知識(shí)繼承，高效生產(chǎn)高質(zhì)量小模型，也可以利用小模型實(shí)現(xiàn)對(duì)比增強(qiáng)，幫助大模型的訓(xùn)練。同時(shí)，建設(shè)了種子模型矩陣，數(shù)據(jù)提質(zhì)與增強(qiáng)機(jī)制，以及從預(yù)訓(xùn)練、精調(diào)對(duì)齊、模型壓縮到推理部署的配套工具鏈。高效低成本模型生產(chǎn)機(jī)制，助力應(yīng)用速度更快、成本更低、效果更好。多模型推理方面，百度研制了基于反饋學(xué)習(xí)的端到端多模型推理技術(shù)，構(gòu)建了智能路由模型，進(jìn)行端到端反饋學(xué)習(xí)，充分發(fā)揮不同模型處理不同任務(wù)的能力，達(dá)到效果、效率和成本的最佳平衡。

除了智能體、代碼和多模型技術(shù)，文心大模型在其他方面也持續(xù)創(chuàng)新，包括基于模型反饋閉環(huán)的數(shù)據(jù)體系、基于自反饋增強(qiáng)的大模型對(duì)齊技術(shù)，以及多模態(tài)技術(shù)等。王海峰現(xiàn)場(chǎng)公布，文心大模型4.0的效果持續(xù)提升，發(fā)布后的半年時(shí)間，又提升了52.5%。

文心大模型的持續(xù)快速進(jìn)化，得益于百度在芯片、框架、模型和應(yīng)用上的全棧布局，尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心的聯(lián)合優(yōu)化。文心大模型的周均訓(xùn)練有效率達(dá)到98.8%，相比一年前文心一言發(fā)布時(shí)，訓(xùn)練效率提升到當(dāng)時(shí)的5.1倍，推理105倍。截至目前，飛槳文心生態(tài)已凝聚1295萬(wàn)開(kāi)發(fā)者，服務(wù)24.4萬(wàn)家企事業(yè)單位，基于飛槳和文心創(chuàng)建89.5萬(wàn)個(gè)模型。

王海峰表示，文心一言累計(jì)用戶規(guī)模已達(dá)2億，日均調(diào)用量也達(dá)到了2億，高效滿足了用戶工作、生活和學(xué)習(xí)需求。

最后，王海峰介紹了百度AI人才計(jì)劃的最新進(jìn)展，百度在2020年提出了5年為全社會(huì)培養(yǎng)500萬(wàn)AI人才，目前這一目標(biāo)已提前達(dá)成。他表示，“未來(lái)，我們將繼續(xù)投身人才培養(yǎng)，讓人才的點(diǎn)點(diǎn)星光，匯成璀璨星河。智能時(shí)代，人人都是開(kāi)發(fā)者，人人都是創(chuàng)造者，讓我們一起，創(chuàng)造美好未來(lái)。”

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。