4月25日，Create2025百度AI開(kāi)發(fā)者大會(huì)在武漢舉辦。百度創(chuàng)始人李彥宏發(fā)布了文心大模型4.5 Turbo及深度思考模型X1 Turbo兩大模型，以及多款AI應(yīng)用。百度首席技術(shù)官王海峰現(xiàn)場(chǎng)詳細(xì)解讀了背后的技術(shù)。
兩大模型連發(fā)！核心技術(shù)詳解
王海峰介紹，文心大模型4.5是多模態(tài)基礎(chǔ)大模型，文心4.5 Turbo源自文心4.5，效果更好、成本更低；基于文心4.5 Turbo，文心X1升級(jí)到X1 Turbo，性能提升的同時(shí)，具備更先進(jìn)的思維鏈，問(wèn)答、創(chuàng)作、邏輯推理、工具調(diào)用和多模態(tài)能力進(jìn)一步增強(qiáng)。在C-Eval、CMMLU、MathVista、Math500等多個(gè)基準(zhǔn)測(cè)試集中，文心4.5 Turbo和X1 Turbo跟DeepSeeK與GPT模型相比，效果在伯仲之間。
大會(huì)現(xiàn)場(chǎng)，王海峰從基礎(chǔ)模型、后訓(xùn)練、深度思考和數(shù)據(jù)等方面解讀了文心4.5 Turbo和X1 Turbo的關(guān)鍵技術(shù)。
文心4.5和4.5 Turbo都是多模態(tài)大模型，實(shí)現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。針對(duì)不同模態(tài)數(shù)據(jù)在結(jié)構(gòu)、規(guī)模、知識(shí)密度上的差異，通過(guò)多模態(tài)異構(gòu)專家建模、自適應(yīng)分辨率視覺(jué)編碼、時(shí)空重排列的三維旋轉(zhuǎn)位置編碼、自適應(yīng)模態(tài)感知損失計(jì)算等技術(shù)，大幅提升跨模態(tài)學(xué)習(xí)效率和多模態(tài)融合效果，學(xué)習(xí)效率提高近2倍，多模態(tài)理解效果提升超過(guò)30%。
后訓(xùn)練方面，百度研制了自反饋增強(qiáng)的技術(shù)框架，基于大模型自身的生成和評(píng)估反饋能力，實(shí)現(xiàn)了“訓(xùn)練-生成-反饋-增強(qiáng)”的模型迭代閉環(huán)，不僅解決了大模型對(duì)齊過(guò)程中，數(shù)據(jù)生產(chǎn)難度大、成本高、速度慢等問(wèn)題，而且顯著降低了模型幻覺(jué)，模型理解和處理復(fù)雜任務(wù)的能力大幅提升。
在訓(xùn)練階段，研制了融合偏好學(xué)習(xí)的強(qiáng)化學(xué)習(xí)技術(shù)，通過(guò)多元統(tǒng)一獎(jiǎng)勵(lì)機(jī)制，提升了對(duì)結(jié)果質(zhì)量判別的準(zhǔn)確率，通過(guò)離線偏好學(xué)習(xí)和在線強(qiáng)化學(xué)習(xí)統(tǒng)一優(yōu)化，進(jìn)一步提升了數(shù)據(jù)利用效率和訓(xùn)練穩(wěn)定性，并增強(qiáng)了模型對(duì)高質(zhì)量結(jié)果的感知。得益于偏好信號(hào)與獎(jiǎng)勵(lì)信號(hào)的融合運(yùn)用，模型的理解、生成、邏輯和記憶等能力全面提升。
深度思考方面，突破了僅基于思維鏈優(yōu)化的范式，在思考路徑中結(jié)合工具調(diào)用，構(gòu)建了融合思考和行動(dòng)的復(fù)合思維鏈，模型解決問(wèn)題能力得到顯著提升。同時(shí)，結(jié)合多元統(tǒng)一的獎(jiǎng)勵(lì)機(jī)制，實(shí)現(xiàn)了思考和行動(dòng)鏈的端到端優(yōu)化，大幅提升了跨領(lǐng)域的問(wèn)題解決能力。
數(shù)據(jù)方面，打造了“數(shù)據(jù)挖掘與合成 - 數(shù)據(jù)分析與評(píng)估 - 模型能力反饋”的數(shù)據(jù)建設(shè)閉環(huán)，為模型訓(xùn)練源源不斷地生產(chǎn)知識(shí)密度高、類型多樣、領(lǐng)域覆蓋廣的大規(guī)模數(shù)據(jù)。同時(shí)，數(shù)據(jù)建設(shè)流程具備良好的可擴(kuò)展性，能夠輕松遷移到全新的數(shù)據(jù)類型，實(shí)現(xiàn)快速、高效的數(shù)據(jù)生產(chǎn)。
文心快碼發(fā)布3.5版本，累計(jì)服務(wù)760萬(wàn)開(kāi)發(fā)者
基于文心大模型的語(yǔ)言和代碼能力，百度研制了代碼智能體和智能代碼助手——文心快碼。代碼智能體，基于智能體的理解、規(guī)劃、反思，以及工具調(diào)用能力，用自然語(yǔ)言對(duì)話，即可實(shí)現(xiàn)應(yīng)用的自動(dòng)開(kāi)發(fā)，并支持多輪交互，迭代優(yōu)化代碼質(zhì)量，實(shí)現(xiàn)了無(wú)代碼編程，讓人人都可以成為程序員。
智能代碼助手，幫助專業(yè)的程序員更高效地寫出更好的代碼。據(jù)介紹，文心快碼3.5版主要突破了四大核心能力：一是代碼智能體引擎，支持多模態(tài)編程、開(kāi)發(fā)工具調(diào)用、應(yīng)用預(yù)覽，實(shí)現(xiàn)「需求-編碼-調(diào)試-驗(yàn)證」端到端生成；二是代碼預(yù)測(cè)改寫引擎，新增光標(biāo)預(yù)測(cè)與多行智能改寫，可精準(zhǔn)實(shí)現(xiàn)復(fù)雜的代碼的增加、刪除和修改；三是上下文引擎，結(jié)合文心4.5和X1的推理能力，更懂開(kāi)發(fā)者意圖，回答問(wèn)題更準(zhǔn)確；最后是更開(kāi)放的研發(fā)生態(tài)，通過(guò)MCP接入?yún)f(xié)議，全面兼容主流開(kāi)發(fā)工具鏈。目前百度每天新增的代碼中，文心快碼生成的代碼占比已超過(guò)40%。最新數(shù)據(jù)顯示，文心快碼向全社會(huì)開(kāi)放，累計(jì)服務(wù)760萬(wàn)開(kāi)發(fā)者。
飛槳文心聯(lián)合優(yōu)化，開(kāi)發(fā)者已達(dá)2185萬(wàn)
文心大模型的能力拓展和效率提升，得益于飛槳文心的聯(lián)合優(yōu)化。比如，訓(xùn)練方面，多模態(tài)統(tǒng)一的掩碼注意力加速，在不同模態(tài)混合計(jì)算注意力時(shí)，顯著降低掩碼構(gòu)建和計(jì)算開(kāi)銷，大幅提升訓(xùn)練性能；推理方面，多模態(tài)流式分塊預(yù)填充機(jī)制，減少首token耗時(shí)，同時(shí)減少推理計(jì)算的顯存峰值，提升推理批次大小，提升吞吐性能。通過(guò)這些聯(lián)合優(yōu)化技術(shù)，文心4.5 Turbo訓(xùn)練吞吐達(dá)到文心4.5的5.4倍，推理吞吐達(dá)到8倍。
從現(xiàn)場(chǎng)我們了解到，飛槳框架3.0既延續(xù)了動(dòng)靜統(tǒng)一、訓(xùn)推一體的技術(shù)特色，更在自動(dòng)并行、神經(jīng)網(wǎng)絡(luò)編譯器、高階自動(dòng)微分等方面創(chuàng)新突破。例如，動(dòng)靜統(tǒng)一自動(dòng)并行，使得大模型分布式訓(xùn)練代碼減少80%；大模型訓(xùn)推一體，幫助強(qiáng)化學(xué)習(xí)訓(xùn)練提速114%；科學(xué)計(jì)算高階微分，微分方程求解速度比 PyTorch 快115%；神經(jīng)網(wǎng)絡(luò)編譯器，提升框架通用性能，模型端到端訓(xùn)練速度提升27%；異構(gòu)多芯適配，飛槳已適配國(guó)內(nèi)外60多個(gè)系列芯片。
截至目前，飛槳文心開(kāi)發(fā)者數(shù)量已超過(guò)2185萬(wàn)，服務(wù)超過(guò)67萬(wàn)家企業(yè)，創(chuàng)建的模型達(dá)到110萬(wàn)。
大模型讓文博知識(shí)觸手可及，首個(gè)“非遺武術(shù)大模型”發(fā)布
隨著人工智能技術(shù)加速進(jìn)步，大模型在千行百業(yè)的應(yīng)用也越來(lái)越深入。例如，在文博領(lǐng)域，百度與中國(guó)文物交流中心達(dá)成深度合作，增強(qiáng)大模型在文博領(lǐng)域?qū)I(yè)知識(shí)，并發(fā)布首個(gè)文博智能體，用AI的力量讓文博知識(shí)觸手可及，讓每個(gè)人都成為文博傳承的參與者與受益者；在非遺武術(shù)傳承領(lǐng)域，百度與上海體育大學(xué)武術(shù)學(xué)院、中國(guó)武術(shù)博物館館聯(lián)合發(fā)布“非遺武術(shù)-百度文心大模型”，基于文心大模型，融合上海體育大學(xué)武術(shù)學(xué)院、中國(guó)武術(shù)博物館的專業(yè)積淀，將武術(shù)技法與算法結(jié)合，通過(guò)3D動(dòng)作建模、AI動(dòng)態(tài)糾錯(cuò)等技術(shù)，將非遺武術(shù)技術(shù)動(dòng)作以數(shù)字化的形式保存和記錄下來(lái)。
活動(dòng)最后，第十二屆百度獎(jiǎng)學(xué)金頒獎(jiǎng)典禮在現(xiàn)場(chǎng)舉辦。作為國(guó)內(nèi)外AI領(lǐng)域資助金額與含金量最高的學(xué)術(shù)獎(jiǎng)學(xué)金之一，百度獎(jiǎng)學(xué)金自2013年設(shè)立以來(lái)，已累計(jì)發(fā)放超千萬(wàn)元資金。王海峰為來(lái)自全球頂尖高校的10位獲獎(jiǎng)選手頒發(fā)獎(jiǎng)學(xué)金，每人20萬(wàn)元。這不僅是對(duì)獲獎(jiǎng)選手學(xué)術(shù)成果的認(rèn)可，也彰顯了百度對(duì)AI人才培養(yǎng)的長(zhǎng)期承諾。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
