近日，合合信息在WAIC 2024上發(fā)布了用于大模型語料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。合合信息的思路是，從“煉丹”源頭的燃料出發(fā)，通過標(biāo)準(zhǔn)化平臺(tái)進(jìn)行語料結(jié)構(gòu)化，提高數(shù)據(jù)預(yù)訓(xùn)練效率，幫助大模型廠商達(dá)成有效的模型性能提升和迭代。
國內(nèi)的大模型產(chǎn)業(yè)處于高速發(fā)展時(shí)期，面向各個(gè)細(xì)分領(lǐng)域的大模型如雨后春筍辦涌現(xiàn)，例如處理文檔的kimi、豆包，用于制作ppt的天工、萬知，但做到與chatgpt媲美確非常困難。業(yè)內(nèi)人士對(duì)這個(gè)現(xiàn)象的解釋是，高質(zhì)量的中文數(shù)據(jù)集實(shí)在緊缺，訓(xùn)模型時(shí)只能直接購買外文標(biāo)注數(shù)據(jù)集或者直接采集開源的國外語料庫作為外援。一旦“進(jìn)口語料”加入的訓(xùn)練參數(shù)量多了，就會(huì)出現(xiàn)跟ChatGPT相似的回答方式。
國內(nèi)外大模型數(shù)據(jù)集主要為英文，均源于許多開源數(shù)據(jù)集進(jìn)行訓(xùn)練，如Common Crawl、RedPajama、BooksCorpus、The Pile、ROOT等。這部分?jǐn)?shù)據(jù)雖然量多，但質(zhì)量上卻良莠不齊。一大優(yōu)質(zhì)的中文語料數(shù)據(jù)，沉睡在報(bào)告、論文、報(bào)紙等文檔里。
為緩解語料荒困境，合合信息推出了用于大模型語料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。在訓(xùn)練前期階段，使用“加速器”文檔解析引擎，破解書籍、論文、研報(bào)等文檔中的版面解析障礙，為模型訓(xùn)練與應(yīng)用輸送純凈的“燃料”;同時(shí)，“加速器”搭載了文本向量化模型，以解決大模型“已讀亂回”的幻覺問題。
合合信息此次發(fā)布的大模型“加速器TextIn智能文檔處理平臺(tái)，由TextIn文檔解析、TextIn Embedding(文本向量數(shù)據(jù)模型)以及OpenKIE三大工具組成。從獲得海量數(shù)據(jù)到高價(jià)值數(shù)據(jù)，預(yù)訓(xùn)練階段的語料處理十分關(guān)鍵。這意味著，作為一個(gè)平臺(tái)型產(chǎn)品，向大模型廠商和開發(fā)者“遞鏟子”，其基礎(chǔ)的工具能力是否足夠扎實(shí)，關(guān)系到種子用戶的購買意愿。
基于這一思路，合合信息在產(chǎn)品設(shè)計(jì)階段提前做了幾件事。首先是場(chǎng)景前置，在未個(gè)性化階段提前給模型補(bǔ)充大量優(yōu)質(zhì)的垂直領(lǐng)域Know-how，比如金融、法律、教育等，關(guān)注特定行業(yè)中的普遍痛點(diǎn)，基于用戶訴求在產(chǎn)品設(shè)計(jì)時(shí)提供解決方案，進(jìn)而提高大模型加速器在核心應(yīng)用場(chǎng)景中表現(xiàn)能力。二是專注產(chǎn)品化，不只對(duì)客戶提供通用場(chǎng)景的API，而是提供更多工具型產(chǎn)品，降低應(yīng)用門檻，做到開箱即用，這對(duì)技術(shù)資源較為薄弱的傳統(tǒng)企業(yè)、中小創(chuàng)業(yè)公司或個(gè)人開發(fā)者來說非常友好。
大模型變革的浪潮里，以數(shù)據(jù)為中心，成為行業(yè)人士從事大模型研發(fā)和應(yīng)用的共識(shí)。具體到實(shí)踐層面，大模型上游階段在文本解析、邏輯版面、文檔問答等方面，仍有很多的提升工作可以做。
未來，合合信息將繼續(xù)依托技術(shù)優(yōu)勢(shì)，面向人工智能產(chǎn)業(yè)的不足提出解決辦法，助力大模型產(chǎn)業(yè)持續(xù)健康發(fā)展。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
