9月6日,百川智能發(fā)布第二代開源模型Baichuan 2,正式開源微調(diào)后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本。模型均免費(fèi)可商用,已在AI模型社區(qū)魔搭ModelScope首發(fā)上架,魔搭第一時(shí)間推出了模型部署相關(guān)教程,供開發(fā)者參考并快速上手。
今年6月、7月,百川先后開源了上一代的7B和13B模型。本次開源的Baichuan 2-7B-Base和 Baichuan 2-13B-Base基于 2.6萬億高質(zhì)量多語言數(shù)據(jù)進(jìn)行訓(xùn)練,保留了上一代開源模型良好的生成與創(chuàng)作能力、流暢的多輪對(duì)話能力以及部署門檻較低等眾多特性。
與此同時(shí),兩個(gè)模型的數(shù)學(xué)、代碼、安全、邏輯推理、語義理解等能力有顯著提升,Baichuan 2-13B-Base相比上一代13B模型,數(shù)學(xué)能力提升49%,代碼能力提升46%,安全能力提升37%,邏輯推理能力提升25%,語義理解能力提升15%。
兩個(gè)模型在各大評(píng)測(cè)榜單上的表現(xiàn)優(yōu)秀,在MMLU、CMMLU、GSM8K等幾大權(quán)威評(píng)估基準(zhǔn)中以絕對(duì)優(yōu)勢(shì)領(lǐng)先LLaMA2,相比其他同等參數(shù)量大模型表現(xiàn)也十分亮眼。更值得一提的是,根據(jù)MMLU等多個(gè)權(quán)威英文評(píng)估基準(zhǔn)評(píng)分 Baichuan2-7B以70億的參數(shù)在英文主流任務(wù)上與130億參數(shù)量的LLaMA2持平。
7B參數(shù)模型的Benchmark成績(jī)
13B參數(shù)模型的Benchmark成績(jī)
Baichuan2-7B和Baichuan2-13B不僅對(duì)學(xué)術(shù)研究完全開放,開發(fā)者也僅需郵件申請(qǐng)獲得官方商用許可后,即可以免費(fèi)商用。百川智能還開源了模型訓(xùn)練的Check Point,并宣布將發(fā)布 Baichuan 2 技術(shù)報(bào)告,詳細(xì)介紹Baichuan 2 的訓(xùn)練細(xì)節(jié)。此舉為國(guó)內(nèi)首創(chuàng)。
作為魔搭社區(qū)的重要合作伙伴,百川智能歷次開源模型都以魔搭作為國(guó)內(nèi)首發(fā)平臺(tái),百川的開源模型在魔搭AI開發(fā)者群體中廣受歡迎。
針對(duì)本次開源,魔搭社區(qū)基于Baichuan2-13B-Chat開發(fā)了體驗(yàn)接口,普通用戶可以直接體驗(yàn)或使用模型;魔搭公眾號(hào)則推出了最佳實(shí)踐教程,提前跑通模型的部署、推理和微調(diào),供開發(fā)者參考。
百川模型體驗(yàn)入口:
https://modelscope.cn/studios/baichuan-inc/Baichuan-13B-Chatdemo/summary
魔搭最佳實(shí)踐:
https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486340&idx=1&sn=c87d949cc6f84366ed394eb427a5d550&chksm=c15e8ff7f62906e1d1950a22b6c1731d2883988d828df7096f6fa9b8beecd07f47394a0986f9&token=1053714178&lang=zh_CN#rd
魔搭是國(guó)內(nèi)規(guī)模最大、開發(fā)者最活躍的AI模型社區(qū),由阿里云牽頭發(fā)起。社區(qū)聚集了國(guó)內(nèi)20多家頭部人工智能機(jī)構(gòu)貢獻(xiàn)的1000多款優(yōu)質(zhì)AI模型,為開發(fā)者提供一站式的模型體驗(yàn)、下載、推理、調(diào)優(yōu)、定制等服務(wù)。目前魔搭社區(qū)模型的累計(jì)下載量已突破6800萬次。
附:魔搭社區(qū)模型下載鏈接
百川2-7B-預(yù)訓(xùn)練模型:
https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Base/summary
百川2-7B-對(duì)話模型:
https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat/summary
百川2-7B-對(duì)話模型-int4量化版:
https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Chat-int4/summary
百川2-13B-預(yù)訓(xùn)練模型:
https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Base/summary
百川2-13B-對(duì)話模型:
https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Chat/summary
百川2-13B-對(duì)話模型-4bits量化版:
https://modelscope.cn/models/baichuan-inc/Baichuan2-13B-Chat-4bits/summary
百川2-7B-訓(xùn)練過程模型:
https://modelscope.cn/models/baichuan-inc/Baichuan2-7B-Intermediate-Checkpoints/summary
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )