金融行業(yè)被廣泛認(rèn)為是AI大模型技術(shù)落地的前哨站，也是“人工智能+”行動的焦點所在。面向金融場景廣泛、多樣化的大模型需求，度小滿軒轅系列全新發(fā)布了12款金融大模型。其中包括6B、13B、70B參數(shù)的基座模型、對話模型、int4/int8量化模型，并且實現(xiàn)了完全開源，供廣大開發(fā)者下載使用。
總體來看，12款金融大模型包括3種參數(shù)。2023年5月，度小滿開源了國內(nèi)首個千億級中文金融大模型“XuanYuan-176B”。2023年9月，“XuanYuan-70B”大模型在C-Eval和CMMLU兩大權(quán)威榜單上位列所有開源模型榜首。本次度小滿“軒轅”模型矩陣再次升級，十億－百億－千億參數(shù)全覆蓋，實現(xiàn)多場景任務(wù)適配。
而從效果上看，度小滿軒轅達(dá)成了18大維度金融實戰(zhàn)能力遙遙領(lǐng)先，多場景6B模型與72B模型表現(xiàn)相當(dāng)；通用能力同樣達(dá)到開源模型TOP水平，看齊GPT-4，并且采用了獨創(chuàng)的數(shù)據(jù)處理流水線，生產(chǎn)更豐富、更安全、更符合中文場景的數(shù)據(jù)。通過首次將人類偏好對齊引入金融垂域大模型訓(xùn)練，相關(guān)模型實現(xiàn)了安全性顯著提升、有用性突破瓶頸、金融任務(wù)表現(xiàn)明顯增強 。
讓我們來走進(jìn)度小滿軒轅，透視金融領(lǐng)域的大模型變革。
度小滿「軒轅」大模型：全參數(shù)矩陣
（度小滿軒轅大模型發(fā)布時間軸）
度小滿軒轅系列已經(jīng)有17款開源大模型，適配廣泛場景任務(wù)，滿足不同開發(fā)者需要。
（度小滿軒轅大模型矩陣）
模型矩陣的設(shè)計考慮了不同的應(yīng)用場景和性能要求：70B及以上的模型專門針對需要深度分析、復(fù)雜指令執(zhí)行以及全方位Agent調(diào)用的場景，而6B、13B的模型則更加適用于對響應(yīng)速度有高要求、面向小規(guī)模場景和單任務(wù)的應(yīng)用，它們也同樣能夠處理計算、編程、創(chuàng)作等一系列通用需求。特別地，最小化的XuanYuan-6B-4-bit量化Chat模型以其低推理部署成本，進(jìn)一步降低了大模型的應(yīng)用門檻。
模型效果：18大維度金融實戰(zhàn)能力遙遙領(lǐng)先
01金融能力
將軒轅系列大模型在金融自動評測集FinanceIQ測試集上進(jìn)行測試，F(xiàn)inanceIQ涵蓋了注冊會計師（CPA）、稅務(wù)師、經(jīng)濟(jì)師、銀行從業(yè)資格、基金從業(yè)資格、證券從業(yè)資格、期貨從業(yè)資格、保險從業(yè)資格（CICE）、理財規(guī)劃師等十大權(quán)威金融領(lǐng)域考試。結(jié)果如下表，XuanYuan-70B-V2在該項評測任務(wù)上擁有超過GPT-4的水平，在知識層面展示出金融領(lǐng)域?qū)＜?/strong>的水平。
同時，為了考察軒轅大模型在金融實際任務(wù)上的能力，軒轅團(tuán)隊還特別組織了金融專家為對話大模型進(jìn)行人工評測。任務(wù)的設(shè)計均是從金融行業(yè)實際應(yīng)用場景出發(fā)，去判斷軒轅是否在各項金融任務(wù)上具備“實戰(zhàn)能力”。
（人工金融評測集任務(wù)構(gòu)成）
最終結(jié)果顯示，軒轅大模型各個參數(shù)上均具有“以小搏大”的實力，達(dá)到自己2倍甚至5倍參數(shù)量的模型水平。在各項金融評測任務(wù)上，XuanYuan-6B表現(xiàn)超越市面最新13B中文開源模型（左圖），XuanYuan-13B表現(xiàn)超越市面最新72B中文開源模型（中圖），XuanYuan-72B-V2表現(xiàn)可以媲美GPT4（右圖），并且在金融法規(guī)、金融產(chǎn)品信息等中文場景上超越。
（軒轅擁有遠(yuǎn)超同參數(shù)水平的金融能力）
02通用能力
將軒轅大模型在MMLU、CEVAL、CMMLU、GSM8K、HumanEval等中外主流評測集上進(jìn)行評測，觀察大模型在知識、邏輯、代碼等通用能力上的表現(xiàn)。同時加入類似參數(shù)矩陣的LLaMA2系列進(jìn)行比較，結(jié)果顯示軒轅不同參數(shù)大模型在各項榜單成績上均有優(yōu)異表現(xiàn)，在CMMLU、C-Eval等多個中文評測榜單上，更是有超越GPT-4的水準(zhǔn)。
進(jìn)一步分析發(fā)現(xiàn)，經(jīng)過專門優(yōu)化以增強考試能力的XuanYuan-6B和XuanYuan-13B模型，在C-Eval和CMMLU這兩個中文考試評測指標(biāo)上有了顯著提升。然而，需要注意的是，“高分”并不意味著“高能力”。評測集成績可通過優(yōu)化模型考試能力來提升，不直接等同于模型在實際應(yīng)用中的優(yōu)勢。因此，盡管小參數(shù)模型在某些評測中表現(xiàn)出色，這并不意味著它們的各方面真實能力均超越了同系列大參數(shù)模型。
（軒轅大模型在各個評測集上的分?jǐn)?shù)）
「軒轅」技術(shù)解析：對齊技術(shù)突破能力瓶頸，面向公眾開放自動化訓(xùn)練框架
度小滿軒轅大模型團(tuán)隊在過去一年，對大模型訓(xùn)練的各個環(huán)節(jié)積累了豐富的經(jīng)驗。這包括建立了一套完整的數(shù)據(jù)處理流水線、采用更適配領(lǐng)域模型的高效訓(xùn)練方法等，以及本次突破性的利用人類偏好對齊技術(shù)，極大地提升了6B、13B、70B模型的對話能力，顯著增強了模型的場景適應(yīng)性。
軒轅系列大模型使用DeepSpeed分布式訓(xùn)練框架，引入動態(tài)評估與調(diào)整機(jī)制以優(yōu)化訓(xùn)練過程。在微調(diào)階段，軒轅特別的采用了Self-QA策略來收集指令微調(diào)數(shù)據(jù)。該方法能夠在沒有人工標(biāo)注的情況下生成大量高質(zhì)量的問答數(shù)據(jù)，為模型提供有監(jiān)督的訓(xùn)練樣本，有效提升模型的學(xué)習(xí)效率和質(zhì)量。
（軒轅大模型Self-QA數(shù)據(jù)構(gòu)造方法）
針對金融領(lǐng)域的特定需求，軒轅大模型還開發(fā)了一種混合微調(diào)訓(xùn)練框架，旨在通過融合通用與特定領(lǐng)域數(shù)據(jù)來增強模型性能及適應(yīng)性。這種混合微調(diào)方法不僅顯著提高了模型在特定任務(wù)的表現(xiàn)，也增強了其整體的泛化能力和適應(yīng)性，為金融領(lǐng)域任務(wù)的性能提升開辟了新途徑。
度小滿創(chuàng)新地在金融領(lǐng)域大模型中引入了人類偏好對齊技術(shù)，開創(chuàng)了領(lǐng)域內(nèi)強化對齊訓(xùn)練的先河。通常，領(lǐng)域大模型僅在微調(diào)階段引入特定領(lǐng)域數(shù)據(jù)，但這種方法在實際應(yīng)用中常常顯示出局限性。金融行業(yè)的復(fù)雜性要求模型能夠更深入地理解并適應(yīng)行業(yè)特定的需求，而強化對齊訓(xùn)練有助于突破僅依靠微調(diào)所能達(dá)到的性能瓶頸。
軒轅團(tuán)隊精心構(gòu)建了涵蓋通用性、安全性和金融特性的Prompt數(shù)據(jù)集，并組織了專業(yè)的標(biāo)注團(tuán)隊對成對的回答進(jìn)行偏好標(biāo)注。接下來，團(tuán)隊通過一系列實踐、分析和改進(jìn)，成功完成了獎勵模型（Reward Model）和后續(xù)的強化（采用近端策略優(yōu)化算法）訓(xùn)練。下圖以XuanYuan-6B為例展示了模型在通用性和金融能力的綜合評估結(jié)果。從圖中可以看出，在兩個領(lǐng)域，經(jīng)過人類偏好對齊后，模型的能力都有了極大的提升，證明了強化對齊訓(xùn)練的有效性。
（RLHF-model vs SFT-model）
（通用能力：RLHF-model vs SFT-model）
（金融能力：RLHF-model vs SFT-model）
度小滿軒轅大模型團(tuán)隊一向貫徹開源開放的原則。為了讓廣大開發(fā)者能夠更容易的上手使用大模型，使用真實數(shù)據(jù)和真實代碼作為示例，詳細(xì)介紹了訓(xùn)練模型的每個關(guān)鍵步驟?，F(xiàn)在相關(guān)代碼已經(jīng)上傳開源社區(qū)，供廣大用戶實操體驗。
金融行業(yè)需要怎樣的大模型？
金融領(lǐng)域?qū)Υ竽Ｐ偷囊筮h(yuǎn)超過基本的“判斷”與“生成”能力，更加強調(diào)在“分析”與“決策”過程中的高級能力，這些能力是觸及金融企業(yè)核心利益的關(guān)鍵。大模型的價值體現(xiàn)在其能否在核心業(yè)務(wù)場景中發(fā)揮實際作用，如通過綜合分析用戶信息以支持風(fēng)險評估、客戶畫像繪制、精準(zhǔn)營銷策略，或通過企業(yè)數(shù)據(jù)分析支持財務(wù)審查、智能投顧和行業(yè)研究。
金融大模型的最終目標(biāo)是提高企業(yè)ROI。這意味著，高效的金融大模型應(yīng)當(dāng)能夠在實際應(yīng)用中，如客服場景，通過提升對話處理、指令遵循和意圖理解能力，不僅短期內(nèi)提高客服效率，長期還可能實現(xiàn)機(jī)器人客服的全面替代，重塑客戶服務(wù)流程，推動金融服務(wù)向更高智能化水平邁進(jìn)。
結(jié)束語：關(guān)于度小滿「軒轅」大模型
度小滿軒轅大模型系列具有以下特色：
· 多尺寸開源，開發(fā)者友好。
· 擁抱開源，免費下載使用。
· 版本快速迭代，社區(qū)持續(xù)更新。
· 持續(xù)面向金融行業(yè)伙伴交流共建。
在今年的政府工作報告中，提出了“大力發(fā)展科技金融、綠色金融、普惠金融、養(yǎng)老金融、數(shù)字金融”。在這樣的宏觀背景下，AI大模型落地金融場景，為行業(yè)帶來全新的智能化發(fā)展機(jī)遇，是金融行業(yè)本身的發(fā)展意愿，也是“新質(zhì)生產(chǎn)力”的客觀要求。
作為“實戰(zhàn)派”的度小滿軒轅，已經(jīng)應(yīng)用在金融領(lǐng)域的各個業(yè)務(wù)場景，并且初見成效。未來，度小滿軒轅會成為金融行業(yè)的一個支點，為更多智能化探索打開大門。
欲知“軒轅”大模型詳情，可移步Github官網(wǎng)。
免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美國無人機(jī)禁令升級？當(dāng)?shù)乜茖W(xué)家率先“喊疼”：我們離不開大疆
- iQOO Neo10 Pro：性能特長之外，亦有全能實力
- 自動駕駛第一股的轉(zhuǎn)型迷途：圖森未來賭上了AIGC
- 明星熱劇、品牌種草、平臺資源，京東讓芬騰雙11的熱度“沸騰”了
- 一加 Ace 5 Pro明牌：游戲手機(jī)看它就夠了！
- 游戲體驗天花板，一加 Ace 5 系列售價 2299 元起
- 16個月沒工資不敢離職，這些打工人“自費上班”
- 怎樣利用微信小店“送禮”功能賺錢？
- 鴻蒙智行問界M9，中國豪華車的龍門一躍
- 科技云報道：人工智能時代“三大件”：生成式AI、數(shù)據(jù)、云服務(wù)
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
