中國(guó)電信消息，近日中國(guó)電信人工智能研究院開(kāi)源12B參數(shù)規(guī)模星辰語(yǔ)義大模型TeleChat-12B，相較1月開(kāi)源7B版本，內(nèi)容、性能和應(yīng)用等方面整體效果提升30%，其中，多輪推理、安全問(wèn)題等領(lǐng)域提升超40%。在C-eval、MMLU、AGIEVAL等國(guó)際權(quán)威榜單上，排名處于國(guó)內(nèi)同級(jí)別參數(shù)開(kāi)源模型的前列，進(jìn)一步促進(jìn)大模型開(kāi)源生態(tài)繁榮，助力AI產(chǎn)業(yè)加速高質(zhì)量發(fā)展。另?yè)?jù)悉，中國(guó)電信將于年內(nèi)開(kāi)源千億級(jí)參數(shù)大模型。
中國(guó)電信人工智能研究院（TeleAI）堅(jiān)持完全自研自主可控，在中國(guó)電信首席技術(shù)官、首席科學(xué)家、TeleAI院長(zhǎng)李學(xué)龍帶領(lǐng)下，加快研發(fā)創(chuàng)新，不斷優(yōu)化底層模型結(jié)構(gòu)，解除Word Embedding與lmhead共享參數(shù)，有效提升模型穩(wěn)定性和訓(xùn)練效果，并基于精細(xì)化的CheckPoint效果驗(yàn)證，進(jìn)行動(dòng)態(tài)的數(shù)據(jù)配比優(yōu)化調(diào)整，大幅提升模型訓(xùn)練效果。
海量高質(zhì)量數(shù)據(jù)是保證大模型效果的基礎(chǔ)，TeleChat-12B將7B版本1.5T訓(xùn)練數(shù)據(jù)提升至3T，優(yōu)化數(shù)據(jù)清洗、標(biāo)注策略，持續(xù)構(gòu)建專(zhuān)項(xiàng)任務(wù)SFT（監(jiān)督微調(diào)）數(shù)據(jù)，優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范，大大提升數(shù)據(jù)質(zhì)量；同時(shí)，基于電信星辰大模型用戶(hù)真實(shí)回流數(shù)據(jù)，優(yōu)化獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)模型，有效提升模型問(wèn)答效果。
TeleAI通過(guò)更徹底地開(kāi)源推動(dòng)大模型技術(shù)進(jìn)步，同時(shí)攜手華為昇騰，推動(dòng)大模型全棧國(guó)產(chǎn)化進(jìn)程。此次開(kāi)源提供基礎(chǔ)模型以及基于相應(yīng)版本的對(duì)話(huà)模型、不僅支持傳統(tǒng)的全量參數(shù)更新還支持 LoRA 等只更新部分參數(shù)的高效微調(diào)方法、支持Deepspeed微調(diào)、支持int8、int4量化。
在推動(dòng)大模型全棧國(guó)產(chǎn)化進(jìn)程上，TeleChat-12B已支持昇騰AI基礎(chǔ)軟硬件：推理方面，支持Atlas 300I DUO推理卡，精度與性能表現(xiàn)均與業(yè)界第一梯隊(duì)持平。已規(guī)劃支持Atlas 800I A2推理服務(wù)器；訓(xùn)練方面，支持昇騰訓(xùn)練服務(wù)器，用戶(hù)可使用昇思MindSpore和PyTorch框架進(jìn)行多機(jī)多卡模型訓(xùn)練和微調(diào)，兩個(gè)框架下模型精度與性能均有不俗表現(xiàn)。當(dāng)前在多個(gè)項(xiàng)目中，已基于昇騰技術(shù)完成模型商用落地。下一步規(guī)劃基于天翼云昇騰智算集群，訓(xùn)練多種尺寸的TeleChat模型，以AI賦能千行百業(yè)。隨著電信與華為昇騰合作的不斷深入，電信已經(jīng)培養(yǎng)出一支成熟的昇騰開(kāi)發(fā)者團(tuán)隊(duì)，為人工智能技術(shù)自主可控貢獻(xiàn)專(zhuān)家力量。
加速探索創(chuàng)新的同時(shí)，星辰大模型也在深入推動(dòng)人工智能與各行各業(yè)的融合，積極探索新興的應(yīng)用場(chǎng)景。星辰語(yǔ)義大模型已應(yīng)用于行文寫(xiě)作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營(yíng)分析等場(chǎng)景，以行文寫(xiě)作為例，其平均生成字?jǐn)?shù)超過(guò)1500字，有效采納率達(dá)到85.7%；在對(duì)外企事業(yè)單位客戶(hù)的業(yè)務(wù)中，星辰語(yǔ)義大模型支持企業(yè)經(jīng)營(yíng)分析、政務(wù)公開(kāi)咨詢(xún)、民生訴求接待等場(chǎng)景，可覆蓋95%的實(shí)際業(yè)務(wù)場(chǎng)景，多輪理解準(zhǔn)確率達(dá)到90%。除傳統(tǒng)行業(yè)應(yīng)用場(chǎng)景，星辰大模型積極探索前沿領(lǐng)域應(yīng)用，賦能具身智能，解決無(wú)人機(jī)編排投入多、開(kāi)發(fā)量大的問(wèn)題，實(shí)現(xiàn)無(wú)人機(jī)智能編排輕量化建設(shè)。
據(jù)悉，星辰大模型已廣泛應(yīng)用落地，賦能千行百業(yè)轉(zhuǎn)型升級(jí)?？头竽Ｐ驮谌珖?guó)試點(diǎn)上線(xiàn)18個(gè)服務(wù)場(chǎng)景，充分賦能智慧客服和數(shù)字人，在激活十億級(jí)的日志、百億級(jí)的網(wǎng)絡(luò)參數(shù)等海量數(shù)據(jù)資產(chǎn)的基礎(chǔ)上，進(jìn)一步深化智能化運(yùn)營(yíng)；星辰政務(wù)大模型已落地某市民生訴求場(chǎng)景，為市民提供在線(xiàn)文本問(wèn)答服務(wù)，提升政務(wù)服務(wù)能力，提高市民滿(mǎn)意度；星辰經(jīng)分大模型已落地某市經(jīng)信局行業(yè)大模型，利用大模型生成能力快速草擬相關(guān)產(chǎn)業(yè)研究報(bào)告，簡(jiǎn)化知識(shí)檢索流程，快速、精準(zhǔn)查詢(xún)所需知識(shí)內(nèi)容，以便迅速、準(zhǔn)確地掌握發(fā)展動(dòng)態(tài)，支持決策過(guò)程，并追蹤全球經(jīng)濟(jì)形勢(shì)和科技創(chuàng)新，滿(mǎn)足迫切的產(chǎn)業(yè)洞察和分析需求。
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
