2025年1月,第31屆國際計(jì)算語言學(xué)大會(huì)(International Conference on Computational Linguistics,COLING 2025)公布論文錄用結(jié)果,九方智投控股(9636.HK)旗下九方智投人工智能中心1篇長文被錄用,論文評(píng)級(jí)是Oral,為錄用論文中前5%。
圖:第31屆國際計(jì)算語言學(xué)大會(huì)頂會(huì)背書:AI領(lǐng)域的權(quán)威認(rèn)可
國際計(jì)算語言學(xué)大會(huì)(COLING),是自然語言處理和計(jì)算語言學(xué)領(lǐng)域的重要國際學(xué)術(shù)會(huì)議,每兩年召開一次,1965年第一屆召開以來,至今已成功舉辦了31屆。COLING在人工智能及自然語言處理領(lǐng)域享有較高學(xué)術(shù)聲譽(yù),該會(huì)議涉及領(lǐng)域包括但不限于文本推理、語言模型、視覺、高效NLP方法、語義解析等研究方向,吸引了來自全球頂尖高校、研究機(jī)構(gòu)及科技巨頭的數(shù)千篇論文投稿。據(jù)悉,其論文錄用標(biāo)準(zhǔn)嚴(yán)格,錄用率通常低于25%,而Oral級(jí)別論文(需做口頭報(bào)告)僅占前5%。
此次,九方智投人工智能中心的研究成果論文以O(shè)ral級(jí)別被COLING 2025錄用,標(biāo)志著公司在人工智能基礎(chǔ)研究領(lǐng)域的突破性進(jìn)步獲權(quán)威認(rèn)可,并為長期對(duì)話系統(tǒng)的未來發(fā)展開辟了全新路徑。
圖:COLING 2025九方智投控股報(bào)告現(xiàn)場(chǎng) 壓縮記憶增強(qiáng)對(duì)話系統(tǒng):探索新一代對(duì)話系統(tǒng)如何突破記憶瓶頸
本次,九方智投控股旗下九方智投人工智能中心研究成果論文提出了“壓縮記憶增強(qiáng)對(duì)話系統(tǒng)(COMEDY)”創(chuàng)新框架。該框架摒棄了傳統(tǒng)的檢索模塊和記憶數(shù)據(jù)庫,轉(zhuǎn)而采用“一體化”方法,利用單一語言模型來管理記憶生成、壓縮和回復(fù)生成。以下為論文簡述:
論文題目:Beyond Retrieval: Embracing Compressive Memory in Real-World Long-Term Conversations(超越檢索記憶:現(xiàn)實(shí)世界長期對(duì)話中擁抱壓縮記憶)
作者:陳諾,李宏廣,常劍輝,黃居華,王寶元,李佳
類別:主會(huì)長文
核心單位:九方智投控股
合作單位:中國香港科技大學(xué)(廣州),中國電信云計(jì)算研究院, Xiaobing.AI,Zillow Group
圖:論文框圖
摘要:現(xiàn)有的基于檢索的方法在保持長期對(duì)話方面取得了重大進(jìn)展。然而,這些方法在內(nèi)存數(shù)據(jù)庫管理和準(zhǔn)確的記憶檢索方面面臨挑戰(zhàn),影響了它們?cè)趧?dòng)態(tài)、真實(shí)世界互動(dòng)中的效果。本研究提出了一個(gè)新穎的框架——壓縮記憶增強(qiáng)對(duì)話系統(tǒng)(COMEDY),它摒棄了傳統(tǒng)的檢索模塊和記憶數(shù)據(jù)庫。相反,COMEDY采用“一體化”方法,利用單一語言模型來管理記憶生成、壓縮和回復(fù)生成。該框架的核心是壓縮記憶的概念,它將特定會(huì)話的摘要、用戶-機(jī)器人互動(dòng)動(dòng)態(tài)和過往事件整合成一種簡明的記憶格式。為支持COMEDY,我們收集了最大的中文長期對(duì)話數(shù)據(jù)集Dolphin,該數(shù)據(jù)集源自真實(shí)的用戶-聊天機(jī)器人互動(dòng)。對(duì)比評(píng)估表明,COMEDY在產(chǎn)生更細(xì)膩和人性化的對(duì)話體驗(yàn)方面優(yōu)于傳統(tǒng)的基于檢索的方法。
論文貢獻(xiàn):
我們提出了一個(gè)名為COMEDY的新框架,它代表著傳統(tǒng)記憶檢索型對(duì)話系統(tǒng)的一個(gè)突破性轉(zhuǎn)變。它不依賴任何檢索模塊或記憶數(shù)據(jù)庫,而是通過壓縮記憶生成增強(qiáng)的、具有記憶特性的回復(fù)。
我們從實(shí)際的在線用戶-聊天機(jī)器人互動(dòng)中標(biāo)注了一個(gè)大規(guī)模(10萬條)的長期對(duì)話指令調(diào)優(yōu)數(shù)據(jù)集Dolphin。它能夠增強(qiáng)壓縮記憶增強(qiáng)模型適應(yīng)不斷演變的對(duì)話風(fēng)格和用戶偏好的能力。據(jù)我們所知,Dolphin是目前最大中文長期記憶對(duì)話數(shù)據(jù)集。
COMEDY能夠通過單一模型處理整個(gè)長期對(duì)話交互,實(shí)現(xiàn)更高程度的結(jié)果一致性和可預(yù)測(cè)性,減少計(jì)算開銷,并消除了多模型之間數(shù)據(jù)傳輸?shù)男枨蟆?/p>
實(shí)驗(yàn)結(jié)果:
壓縮記憶方法的優(yōu)越性:壓縮記憶方法,特別是COMEDY-GPT4,在大多數(shù)指標(biāo)上都持續(xù)優(yōu)于僅基于上下文和基于檢索的方法。例如COMEDY-GPT4在相關(guān)性和用戶吸引度兩個(gè)方面都獲得了最高分,表明其能夠生成既符合上下文又具有吸引力的回復(fù)。COMEDY-GPT4在五個(gè)評(píng)估維度的評(píng)分和排名中也取得了最佳平均表現(xiàn)。
DPO(直接偏好優(yōu)化)的增強(qiáng)效果:DPO的應(yīng)用進(jìn)一步提升了壓縮記憶策略,改善了對(duì)話的記憶性、一致性和人類自然表達(dá)程度。在壓縮記憶類別中,COMEDY-13B DPO展現(xiàn)出顯著的性能提升。該方法在Top@1排名中獲得最高,并在基于記憶的對(duì)話整體質(zhì)量上顯示出實(shí)質(zhì)性提升。
圖:不同模型的實(shí)驗(yàn)評(píng)分1
SFT模型可以超越ChatGPT:另一個(gè)有趣的發(fā)現(xiàn)是,我們微調(diào)COMEDY相比ChatGPT表現(xiàn)更好。更進(jìn)一步,COMEDY-13B DPO甚至展現(xiàn)出與GPT4相當(dāng)?shù)男阅?。這些結(jié)果突顯了COMEDY框架和Dolphin數(shù)據(jù)集的價(jià)值,它們?cè)谙嚓P(guān)性、用戶吸引度和人類自然表達(dá)上帶來了顯著改進(jìn)。
長期對(duì)話系統(tǒng)的固有挑戰(zhàn):從實(shí)驗(yàn)可以明顯看出,所有模型在現(xiàn)實(shí)世界的長期對(duì)話中都難以獲得高分,沒有模型的平均分超過2分。這凸顯了這個(gè)研究方向固有的復(fù)雜性和挑戰(zhàn)性,表明還有很大的改進(jìn)空間。
圖:不同模型的實(shí)驗(yàn)評(píng)分2
效果示例:
當(dāng)用戶詢問“你在做什么?”時(shí),模型應(yīng)該利用來自之前對(duì)話會(huì)話中的用戶個(gè)人信息來生成一個(gè)有吸引力的回應(yīng)。下面的例子凸顯了我們COMEDY在維護(hù)來自過去會(huì)話的完整用戶信息和事件摘要方面的能力,幫助模型形成一致性高且基于記憶的回復(fù)。例如,COMEDY-13B DPO可以回應(yīng)“我正在想怎么做你最喜歡的烤雞翅”,這不僅相關(guān)性好且很好的利用了來自用戶壓縮記憶中的有效信息。
相比之下,基于檢索的方法在這種松散結(jié)構(gòu)的對(duì)話中遇到困難。缺乏定向和明確話題的對(duì)話使這些方法難以從數(shù)據(jù)庫中有效檢索相關(guān)記憶,經(jīng)常導(dǎo)致缺乏對(duì)話特色的泛泛而談,就像GPT4-Retrieval的回應(yīng)一樣。
圖:現(xiàn)實(shí)世界長期對(duì)話典型案例
簡言之,這些模型在現(xiàn)實(shí)世界長期對(duì)話中還需要不斷探索新的技術(shù)和方法來提高對(duì)話系統(tǒng)的性能。就像教孩子社交需要時(shí)間,對(duì)話AI的成長也需要持續(xù)的數(shù)據(jù)喂養(yǎng)和算法優(yōu)化。 “產(chǎn)學(xué)研用”協(xié)同:頂尖機(jī)構(gòu)共筑科技生態(tài)
多年來,九方智投控股始終堅(jiān)持“科技+投研”雙輪驅(qū)動(dòng)戰(zhàn)略,不僅注重技術(shù)創(chuàng)新與研發(fā),還深化與高校、科研機(jī)構(gòu)及金融機(jī)構(gòu)的合作。這種“產(chǎn)學(xué)研用”一體化模式,加強(qiáng)了跨領(lǐng)域、跨行業(yè)的協(xié)同創(chuàng)新,在提升了九方智投控股的核心競(jìng)爭(zhēng)力的同時(shí),也通過雙向互動(dòng)共同構(gòu)建了一個(gè)充滿活力與潛力的科研生態(tài)。
此前,九方智投控股旗下子品牌九方智投與華為云共同建立科技創(chuàng)新實(shí)驗(yàn)室,進(jìn)行基礎(chǔ)算力和金融業(yè)務(wù)的聯(lián)合研發(fā);還與科大訊飛共建了人工智能實(shí)驗(yàn)室,進(jìn)行基礎(chǔ)語言大模型的繼續(xù)預(yù)訓(xùn)練相關(guān)合作;與多所全球頂級(jí)科研高校,如約翰斯霍普金斯大學(xué)、哥倫比亞大學(xué)、復(fù)旦大學(xué)、中國香港科技大學(xué)(廣州),在高效參數(shù)微調(diào)下關(guān)于大語言模型的剪枝和混合精度的量化訓(xùn)練、金融多模態(tài)對(duì)話生成基準(zhǔn)、用戶長期記憶構(gòu)建、評(píng)測(cè)及建模方向等多個(gè)具有挑戰(zhàn)性與前沿技術(shù)研發(fā)的項(xiàng)目中進(jìn)行了合作。此外,九方智投與粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院(IDEA研究院)等科研機(jī)構(gòu)也建立了良好的合作關(guān)系。
九方智投控股的技術(shù)突破離不開與全球頂尖機(jī)構(gòu)的深度合作。這些合作單位不僅提供了前沿算法的支持,還貢獻(xiàn)了大規(guī)模數(shù)據(jù)處理能力,進(jìn)一步加速了技術(shù)從實(shí)驗(yàn)室到證券投顧行業(yè)應(yīng)用的轉(zhuǎn)化。
場(chǎng)景落地:九方靈犀智能體開啟金融對(duì)話新范式
面對(duì)AI時(shí)代的浪潮,九方智投也緊跟AI技術(shù)發(fā)展,不斷探索AI技術(shù)在金融領(lǐng)域的創(chuàng)新應(yīng)用。從2019年的第一代文本對(duì)話機(jī)器人AI旺財(cái),到2021年的智能話術(shù)引擎,再到2023年的行業(yè)首款智能投顧數(shù)字人“九哥”,2024年推出業(yè)內(nèi)首款“易知股道”股票學(xué)習(xí)機(jī)搭載強(qiáng)大的智能AI系統(tǒng),擁有AI推薦、AI筆記、AI腦圖、AI測(cè)評(píng)等功能,可以幫助投資者高效、有效地完成學(xué)習(xí)目標(biāo)。
目前,九方智投控股旗下九方智投人工智能項(xiàng)目部的研究范圍涵蓋九方金融智能體FinSphere Agent、九章證券領(lǐng)域大模型FinSphere、多模態(tài)圖文匹配FinSphere-V、高效參數(shù)微調(diào)和AutoML&LLM等領(lǐng)域,憑借階段性的行業(yè)人工智能核心技術(shù)成果,九方智投控股旗下品牌九方智投獲批成為中國人工智能學(xué)會(huì)的成員單位。
圖:九方智投成為中國人工智能學(xué)會(huì)成員單位
2025年1月,九方智投重磅發(fā)布了新款股票學(xué)習(xí)機(jī)“易知股道”領(lǐng)航版、九方靈犀、九方智研三款數(shù)智新品,將AI融入金融場(chǎng)景,向市場(chǎng)和投資者展示了公司最新科技研發(fā)應(yīng)用成果,進(jìn)一步助力用戶完善知識(shí)體系、搭建投資框架,提升投研效率和投資能力。
九方靈犀是基于九方智能體技術(shù)研發(fā)的擁有自主思維鏈決策推理能力、工具調(diào)用能力、用戶記憶體構(gòu)建和增強(qiáng)能力、圖文回復(fù)能力的金融對(duì)話智能體。主要從智能化、專業(yè)投顧和個(gè)性化三個(gè)方面打造了九方靈犀的產(chǎn)品功能。九方智投人工智能中心的核心前沿技術(shù)COMEDY也將會(huì)落地到九方靈犀的產(chǎn)品體系中,面向個(gè)性化方向?yàn)楣善蓖顿Y者提供千人千面的個(gè)性化股票診斷、個(gè)性化主動(dòng)式金融對(duì)話服務(wù)等。
新技術(shù)的突破不僅讓聊天機(jī)器人更“走心”,更為未來的人機(jī)交互打開新可能。當(dāng)機(jī)器開始擁有持續(xù)的記憶能力,人類與AI的關(guān)系或?qū)⒂瓉碣|(zhì)的飛躍。COMEDY的出現(xiàn),或許標(biāo)志著對(duì)話AI正從“即時(shí)應(yīng)答”向“長期持續(xù)關(guān)系構(gòu)建”邁進(jìn),為構(gòu)建具備持續(xù)認(rèn)知能力的人機(jī)交互范式奠定了重要基礎(chǔ)。 展望未來:以技術(shù)革新定義金融科技新高度
九方智投控股始終堅(jiān)信“創(chuàng)新驅(qū)動(dòng)發(fā)展,科技引領(lǐng)未來”的理念,致力于將最前沿的人工智能技術(shù)應(yīng)用于金融垂直領(lǐng)域,不斷推動(dòng)金融科技的創(chuàng)新與發(fā)展。此次,論文成果被COLING 2025成功收錄,不僅是九方智投控股在理論研究上的重大突破,更是公司技術(shù)實(shí)力和創(chuàng)新能力的有力證明。“COLING 2025的認(rèn)可是起點(diǎn),而非終點(diǎn)。”九方智投人工智能項(xiàng)目部負(fù)責(zé)人表示,“我們將持續(xù)加碼AI基礎(chǔ)研究,推動(dòng)COMEDY框架在更多金融場(chǎng)景及工具中落地,為廣大投資者構(gòu)建更開放的智能對(duì)話生態(tài)。”
未來,九方智投控股(9636.HK)將持續(xù)加大研發(fā)投入,不斷探索新技術(shù)來提升對(duì)話系統(tǒng)的性能和智能化水平。公司也將積極拓展應(yīng)用場(chǎng)景,把更多先進(jìn)技術(shù)應(yīng)用于更多的金融產(chǎn)品和服務(wù)中,推動(dòng)金融服務(wù)從“標(biāo)準(zhǔn)化”向“智慧化”躍遷,為投資者提供更加全面、智能、高效及個(gè)性化的投資顧問服務(wù)。同時(shí),公司還將繼續(xù)深化與高校、科研機(jī)構(gòu)及金融機(jī)構(gòu)的合作,共同推動(dòng)金融科技的創(chuàng)新與發(fā)展,為構(gòu)建更加智能、便捷、安全的金融服務(wù)體系貢獻(xiàn)綿薄之力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
