適配更多國(guó)產(chǎn)芯片 智譜AI推出第三代基座大模型ChatGLM3

10月27日消息，智譜AI于2023中國(guó)計(jì)算機(jī)大會(huì)（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相關(guān)系列產(chǎn)品，這也是智譜AI繼推出千億基座的對(duì)話模型ChatGLM和ChatGLM2之后的又一次重大突破。

此次推出的ChatGLM3采用了獨(dú)創(chuàng)的多階段增強(qiáng)預(yù)訓(xùn)練方法，使訓(xùn)練更為充分。評(píng)測(cè)顯示，在44個(gè)中英文公開(kāi)數(shù)據(jù)集測(cè)試中，ChatGLM3在國(guó)內(nèi)同尺寸模型中排名首位。智譜AI CEO張鵬在現(xiàn)場(chǎng)做了新品發(fā)布，并實(shí)時(shí)演示了最新上線的產(chǎn)品功能。

ChatGLM3全新技術(shù)升級(jí) 更高性能更低成本

通過(guò)更豐富的訓(xùn)練數(shù)據(jù)和更優(yōu)的訓(xùn)練方案，智譜AI推出的ChatGLM3性能更加強(qiáng)大。與ChatGLM2相比，MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。

同時(shí)，ChatGLM3瞄向GPT-4V本次實(shí)現(xiàn)了若干全新功能的迭代升級(jí)，包括多模態(tài)理解能力的CogVLM-看圖識(shí)語(yǔ)義，在10余個(gè)國(guó)際標(biāo)準(zhǔn)圖文評(píng)測(cè)數(shù)據(jù)集上取得SOTA；代碼增強(qiáng)模塊Code Interpreter根據(jù)用戶需求生成代碼并執(zhí)行，自動(dòng)完成數(shù)據(jù)分析、文件處理等復(fù)雜任務(wù)；網(wǎng)絡(luò)搜索增強(qiáng)WebGLM-接入搜索增強(qiáng)，能自動(dòng)根據(jù)問(wèn)題在互聯(lián)網(wǎng)上查找相關(guān)資料并在回答時(shí)提供參考相關(guān)文獻(xiàn)或文章鏈接。ChatGLM3的語(yǔ)義能力與邏輯能力得到了極大的增強(qiáng)。
ChatGLM3還集成了自研的AgentTuning技術(shù)，激活了模型智能體能力，尤其在智能規(guī)劃和執(zhí)行方面，相比于ChatGLM2提升了1000% ；開(kāi)啟了國(guó)產(chǎn)大模型原生支持工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫(kù)操作、知識(shí)圖譜搜索與推理、操作系統(tǒng)等復(fù)雜場(chǎng)景。

此外，ChatGLM3本次推出可手機(jī)部署的端測(cè)模型ChatGLM3-1.5B和 ChatGLM3-3B，支持包括vivo、小米、三星在內(nèi)的多款手機(jī)以及車(chē)載平臺(tái)，甚至支持移動(dòng)平臺(tái)上CPU芯片的推理，速度可達(dá)20 tokens/s。精度方面1.5B和3B模型在公開(kāi)benchmark上與ChatGLM2-6B模型性能接近。

基于最新的高效動(dòng)態(tài)推理和顯存優(yōu)化技術(shù)，ChatGLM3當(dāng)前的推理框架在相同硬件、模型條件下，相較于目前最佳的開(kāi)源實(shí)現(xiàn)，包括伯克利大學(xué)推出的 vLLM 以及Hugging Face TGI的最新版本，推理速度提升了2-3倍，推理成本降低一倍，每千tokens僅0.5分，成本最低。

新一代“智譜清言”上線 國(guó)內(nèi)首推代碼交互能力

在全新升級(jí)的ChatGLM3賦能下，生成式AI助手智譜清言已成為國(guó)內(nèi)首個(gè)具備代碼交互能力的大模型產(chǎn)品（Code Interpreter）。

“代碼”功能目前已支持圖像處理、數(shù)學(xué)計(jì)算、數(shù)據(jù)分析等使用場(chǎng)景。以下分別為：

處理數(shù)據(jù)生成圖表

代碼繪制圖形

上傳SQL代碼分析

隨著WebGLM大模型能力的加入，智譜清言也具有了搜索增強(qiáng)能力，可以幫助用戶整理出相關(guān)問(wèn)題的網(wǎng)上文獻(xiàn)或文章鏈接，并直接給出答案。

此前已發(fā)布的CogVLM 模型則提高了智譜清言的中文圖文理解能力，取得了接近GPT-4V的圖片理解能力,它可以回答各種類(lèi)型的視覺(jué)問(wèn)題，并且可以完成復(fù)雜的目標(biāo)檢測(cè)，并打上標(biāo)簽，完成自動(dòng)數(shù)據(jù)標(biāo)注。

自2022年初，智譜AI推出的GLM系列模型已支持在昇騰、神威超算、海光DCU架構(gòu)上進(jìn)行大規(guī)模預(yù)訓(xùn)練和推理。截至目前，智譜AI的產(chǎn)品已支持10余種國(guó)產(chǎn)硬件生態(tài)，包括昇騰、神威超算、海光DCU、海飛科、沐曦曦云、算能科技、天數(shù)智芯、寒武紀(jì)、摩爾線程、百度昆侖芯、靈汐科技、長(zhǎng)城超云等。通過(guò)與國(guó)產(chǎn)芯片企業(yè)的聯(lián)合創(chuàng)新，性能不斷優(yōu)化，將有助于國(guó)產(chǎn)原生大模型與國(guó)產(chǎn)芯片早日登上國(guó)際舞臺(tái)。

智譜AI此次推出的ChatGLM3及相關(guān)系列產(chǎn)品，全面提升了自身的模型性能，為業(yè)界打造了更開(kāi)放的開(kāi)源生態(tài)，并進(jìn)一步降低了普通用戶使用AIGC產(chǎn)品的門(mén)檻。AI正在引領(lǐng)我們進(jìn)入一個(gè)新的時(shí)代，大模型必將加速這一時(shí)刻的到來(lái)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。