NLP領(lǐng)域國際頂會ACL 2023正式放榜，網(wǎng)易云商論文被錄用

頂會，尤其是國際頂會，因其在業(yè)界的巨大影響力，是企業(yè)和個人的實力試金場。

被頂會錄用的論文，代表的是對該領(lǐng)域具有重大意義的研究成果。

國際計算語言學年會（Annual Meeting of the Association for Computational Linguistics，簡稱ACL）是自然語言處理（NLP）領(lǐng)域的頂級國際會議，ACL 2023 將于2023年7月9-14日在加拿大多倫多舉行。

近日，ACL 2023公布了論文入選結(jié)果，網(wǎng)易云商AI技術(shù)組與上海交通大學林洲漢老師研究組關(guān)于Transformer方向的論文被大會Findings錄用，技術(shù)實力耀眼國際舞臺。

ACL：NLP領(lǐng)域最負盛名的國際頂會之一

ACL到底有多牛？我們或許可以從三個維度來感受一下

從1963年召開第1屆會議，到2023年已經(jīng)是第61屆，走過半個多世紀，ACL已經(jīng)成長為了計算語言學和自然語言處理領(lǐng)域最高級別、最負盛名的學術(shù)會議，每年都會吸引來自世界各地的頂尖學者、研究者、工程師和企業(yè)家參加。

NLP被譽為“人工智能皇冠上的明珠”，一方面表明了它的重要性，另一方面也顯現(xiàn)出了它的技術(shù)難度。ACL每年都會開放關(guān)于計算語言學和NLP領(lǐng)域的投稿，投稿量逐年攀升，但平均錄用率只在25%上下，2012年僅為19%。能被ACL錄用的論文都是精品中的精品，兼具創(chuàng)新性、科學性、實用性、可讀性。

此外，ACL是中國計算機學會（CCF）推薦的A類國際學術(shù)會議。

論文主題：提出一種新的Fourier Transformer結(jié)構(gòu)

那么，網(wǎng)易云商的這篇論文研究了什么主題？它憑什么在眾多論文中突出重圍？

Transformer作為AI的基礎(chǔ)模型在NLP、CV、Speech等場景下有廣泛應用，是業(yè)界共識。但是，Transformer存在self-attention計算復雜度高和信息冗余嚴重的問題。針對此問題，網(wǎng)易云商AI技術(shù)組與上海交通大學林洲漢老師研究組共同開展研究。

“通過對模型的每層輸入進行分析，我們發(fā)現(xiàn)低頻區(qū)間存在尖峰效應。基于這個發(fā)現(xiàn)，我們提出一種新的Fourier Transformer結(jié)構(gòu)，通過FFT（快速傅立葉變換）的DCT（離散余弦變換）操作刪除高頻信息，再通過IDCT轉(zhuǎn)化成時域?qū)崿F(xiàn)序列壓縮。我們在encoder-only和encoder-decoder兩種模型架構(gòu)上使用Fourier Transformer，其中在encoder-decoder架構(gòu)中，通過upsample恢復列長度?！闭撐淖髡咧唬W(wǎng)易云商資深自然語言處理工程師楊萌介紹了整個論文的背景和發(fā)現(xiàn)。

實驗結(jié)果證明，F(xiàn)ourier Transformer在時間復雜度和空間復雜度上都有顯著的降低，且在多個NLP任務上達到了SOTA水平（state-of-the-art，目前最佳效果）。

“我們提出的Fourier Transformer結(jié)構(gòu)可以被廣泛應用于目前主流的各類深度學習模型中（Bert、Bart、RoBERTa等），以實現(xiàn)訓練和推理速度的顯著提升，并在長序列任務中減少噪聲從而更好地捕捉輸入序列中的長距離依賴關(guān)系來提高模型的泛化性能和精度?！睏蠲冗M一步補充了論文研究的創(chuàng)新之處和應用價值。

是學院派更是實踐派

在學術(shù)方面，網(wǎng)易云商展現(xiàn)了AI頭雁的實力，在具體的應用上，網(wǎng)易云商也早已注入各個場景，進行落地開花，讓企業(yè)和消費者獲益于NLP。

網(wǎng)易云商旗下七魚智能客服產(chǎn)品是NLP技術(shù)在服務場景的落地成果，自2016年4月發(fā)布以來，已經(jīng)累計服務40萬家企業(yè)，連接8億用戶，機器人累計咨詢接待量46.8億，平均意圖識別準確率達到96%，平均問題匹配率達到95%，平均問題解決率達到90%，遠超行業(yè)水平。

網(wǎng)易云商旗下智能外呼產(chǎn)品是NLP技術(shù)在營銷場景的落地成果，成果破解傳統(tǒng)呼叫產(chǎn)品聲音機械、反應遲鈍、答非所問、頻繁騷擾等問題，打造有溫度、更智能、更懂人心的人機對話體驗，極大提高了營銷效率和效果，助力企業(yè)高效深挖存量用戶價值。

兼顧學術(shù)研究和場景需求，是學院派更是實踐派，探索AI技術(shù)，網(wǎng)易云商持續(xù)在路上。

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。