虎博科技參與研究《Levenshtein Transformer》 入選頂會NeurIPS 2019

近日，虎博科技技術(shù)副總裁兼算法負(fù)責(zé)人趙俊博(Jake Zhao)參與的研究成果《Levenshtein Transformer》被機器學(xué)習(xí)領(lǐng)域頂級會議NeurIPS 2019接收為會議論文。論文提出了一種全新的序列生成模型Levenshtein Transformer(LevT)，該模型在機器翻譯和文本摘要任務(wù)中，均取得了比Transformer模型普遍更好的效果，且處理速度提升至3倍以上。同時，LevT模型先驅(qū)性地嘗試了統(tǒng)一序列生成和序列細(xì)化，并通過實證驗證了其應(yīng)用于譯后編輯領(lǐng)域的巨大價值?；⒉┛萍紕?chuàng)始人兼CEO陳燁表示：“虎博科技始終不遺余力地在技術(shù)研發(fā)上持續(xù)投入，我們希望通過世界前沿科技，打破全球金融信息的語言壁壘，消除信息不對稱，幫助人們提高獲取信息的效率。”據(jù)悉，LevT模型已應(yīng)用于虎博科技產(chǎn)品研發(fā)中。

(NeurIPS 2019論文接收通知)

NeurIPS全稱神經(jīng)信息處理系統(tǒng)大會(Conference and Workshop on Neural Information Processing Systems)，是機器學(xué)習(xí)領(lǐng)域的頂級會議，屬于中國計算機學(xué)會(CCF) A類國際會議。本屆NeurIPS 會議共收到 6743 篇論文投稿，創(chuàng)造了新的投稿記錄，其中 1428 篇被接收為會議論文，接收率僅 21%。

此次《Levenshtein Transformer》能夠被NeurIPS 2019接收，得益于其研究成果的突破性創(chuàng)新。LevT是第一個可以自由增加和刪減長度的部分自回歸模型，針對現(xiàn)有解碼模型缺乏靈活度的問題，LevT創(chuàng)造性地提出了插入(insertion)和刪除(deletion)兩種原子操作，通過兩者的組合，不僅能夠更加靈活地生成序列，還能夠動態(tài)改變序列長度以細(xì)化序列，顛覆了現(xiàn)有的序列生成和細(xì)化方式，極大提高機器翻譯、文本摘要和譯后編輯的效率。

論文針對機器翻譯、文本摘要和譯后編輯三類自然語言處理任務(wù)，在多種不同語言的公開數(shù)據(jù)集上進(jìn)行了多次與現(xiàn)有Transformer模型的對比實驗。實驗結(jié)果顯示，Levenshtein Transformer模型在機器翻譯和文本摘要任務(wù)中，不僅比現(xiàn)有Transformer模型取得了普遍更好的質(zhì)量，還在運算速度上取得了大幅提升。通常來說，現(xiàn)有Transformer模型需要對原文進(jìn)行至少20次以上的串行解碼行為，在測試集上的平均用時超過300毫秒，但LevT可將串行的部分顯著減少，通過并行插詞、刪詞等操作完成文本處理，將運算速度提高至3倍以上。同時，LevT在譯后編輯任務(wù)中較現(xiàn)有Transformer模型取得了更好的優(yōu)化幅度，證實了levt模型在譯后編輯上的突破性成果。據(jù)悉，Transformer是目前國際上公認(rèn)的最先進(jìn)的機器翻譯模型，由Google于2017年提出并開源，被全球一線科技公司廣泛使用。

(LevT針對機器翻譯和文本摘要的實驗結(jié)果)

((LevT針對譯后編輯的實驗結(jié)果)

趙俊博介紹，現(xiàn)代神經(jīng)序列生成模型只能從零開始逐步生成tokens，或者迭代地修改以固定長度為邊界的token序列，這樣的文本處理方式與人類的智力水平仍然有很大差距，因為人類可以隨時修改、撤銷或刪除它們創(chuàng)作的文本。“例如人們寫作文的時候，并不是像傳統(tǒng)的自回歸模型一樣從左到右一口氣生成，而是寫作和回來修改并存的過程，LevT模型就是模擬了這個過程。”

同時，論文在模仿學(xué)習(xí)(imitation learning)理論框架下，利用插入和刪除同時具備互補性和對抗性的特點，創(chuàng)新提出“雙策略學(xué)習(xí)”算法(dual policy learning)。該算法可以有效地將一個策略(policy)作為另一個的學(xué)習(xí)信號，即在訓(xùn)練一個策略(插入或刪除)時，使用其對抗策略在上一次迭代中的輸出作為輸入，是一種全新的模仿學(xué)習(xí)框架。

目前，該研究成果已成功應(yīng)用于虎博科技底層架構(gòu)中，并通過虎博科技產(chǎn)品端為用戶提供更實時、高質(zhì)量的翻譯結(jié)果。以虎博科技旗艦產(chǎn)品虎博搜索為例，當(dāng)用戶搜索“阿里巴巴活躍買家”時，虎博搜索會根據(jù)輸入語言自動啟用機器翻譯，將中文搜索內(nèi)容“活躍買家”準(zhǔn)確對應(yīng)到阿里巴巴英文財報中的“Annual active consumers"條目，幫助用戶消除語言障礙，即時獲得有價值的精準(zhǔn)信息。據(jù)統(tǒng)計，虎博科技每天的全球資訊及金融數(shù)據(jù)機器翻譯總量達(dá)上億萬次。

據(jù)公開資料顯示，虎博科技成立于2017年7月，是全球領(lǐng)先的智能金融搜索引擎，以讓人們獲取知識更簡單為愿景，致力于通過深度學(xué)習(xí)、自然語言處理等世界前沿技術(shù)，深入挖掘全球金融市場價值信息和數(shù)據(jù)，進(jìn)行實時、全自動的獲取、解析、理解和總結(jié)，并將精準(zhǔn)的搜索結(jié)果結(jié)構(gòu)化地呈現(xiàn)給用戶，幫助用戶從繁瑣重復(fù)的工作中解放出來，把精力投入到更富創(chuàng)造性的工作中。截止目前，公司累計獲得融資額近4億元人民幣。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。