BERT和ERNIE誰更強？這里有一份4大場景的細致評測

BERT和ERNIE，NLP領域近來最受關注的2大模型究竟怎么樣?剛剛有人實測比拼了一下，結果在中文語言環(huán)境下，結果令人意外又驚喜。具體詳情究竟如何?不妨一起圍觀下這篇技術評測。

1.寫在前面

隨著2018年ELMo、BERT等模型的發(fā)布，NLP領域終于進入了“大力出奇跡”的時代。采用大規(guī)模語料上進行無監(jiān)督預訓練的深層模型，在下游任務數(shù)據(jù)上微調一下，即可達到很好的效果。曾經需要反復調參、精心設計結構的任務，現(xiàn)在只需簡單地使用更大的預訓練數(shù)據(jù)、更深層的模型便可解決。

隨后在2019年上半年，百度的開源深度學習平臺PaddlePaddle發(fā)布了知識增強的預訓練模型ERNIE，ERNIE通過海量數(shù)據(jù)建模詞、實體及實體關系。相較于BERT學習原始語言信號，ERNIE直接對先驗語義知識單元進行建模，增強了模型語義表示能力。

簡單來說，百度ERNIE采用的Masked Language Model是一種帶有先驗知識Mask機制。可以在下圖中看到，如果采用BERT隨機mask，則根據(jù)后綴“龍江”即可輕易預測出“黑”字。引入了詞、實體mask之后，“黑龍江”作為一個整體被mask掉了，因此模型不得不從更長距離的依賴(“冰雪文化名城”)中學習相關性。

除此之外，百度ERNIE還引入了DLM(對話語言模型)任務，通過這種方式來學習相同回復對應的query之間的語義相似性。實驗證明DLM的引入對LCQMC(文本相似度計算)系列任務帶來了較大的幫助。最終ERNIE采用多源訓練數(shù)據(jù)，利用高性能分布式深度學習平臺PaddlePaddle完成預訓練。

2.親測

到底百度ERNIE模型所引入訓練機制有沒有起到作用，只有實踐了以后才知道。為此，我親自跑了BERT和ERNIE兩個模型，在下面的幾個場景中得到了預測結果。

2.1完形填空

完形填空任務與預訓練時ERNIE引入的知識先驗Mask LM任務十分相似。從下圖的比較中我們可以看到，ERNIE對實體詞的建模更加清晰，對實體名詞的預測比BERT更準確。例如BERT答案“周家人”融合了相似詞語“周潤發(fā)”和“家人”結果不夠清晰;“市關村”不是一個已知實體;“菜菜”的詞邊界是不完整的。ERNIE的答案則能夠準確命中空缺實體。

2.2 NER (命名實體識別)

在同樣為token粒度的NER任務中，知識先驗Mask LM也帶來了顯著的效果。對比MSRA-NER數(shù)據(jù)集上的F1 score表現(xiàn)，ERNIE與BERT分別為93.8%、92.6%。在PaddleNLP的LAC數(shù)據(jù)集上，ERNIE也取得了更好的成績，測試集F1為92.0%，比BERT的結果90.3%提升了1.7%。分析二者在MSRA-NER測試數(shù)據(jù)中二者的預測結果?？梢杂^察到：

1.)ERNIE對實體理解更加準確：“漢白玉”不是實體類型分類錯誤;

2.)ERNIE對實體邊界的建模更加清晰：“美國法律所”詞邊界不完整，而“北大”、“清華”分別是兩個機構。

Case對比：摘自MSRA-NER數(shù)據(jù)測試集中的三段句子。B_LOC/I_LOC為地點實體的標簽，B_ORG/L_ORG為機構實體的標簽，O為無實體類別標簽。下表分別展現(xiàn)了 ERNIE、BERT模型在每個字上的標注結果。

2.3相似度

ERNIE在訓練中引入的DLM能有效地提升模型對文本相似度的建模能力。因此，我們比較文本相似度任務LCQMC數(shù)據(jù)集上二者的表現(xiàn)。從下表的預測結果可以看出，ERNIE學習到了中文復雜的語序變化。最終ERNIE與BERT在該任務數(shù)據(jù)的預測準確率為87.4%、87.0%.

2.4分類

最后，比較應用最廣泛的情感分類任務。經過預訓練的ERNIE能夠捕捉更加細微的語義區(qū)別，這些句子通常含有較委婉的表達方式。下面展示了PaddleNLP情感分類測試集上ERNIE與BERT的打分表現(xiàn)：在句式“不是很…”中含有轉折關系，ERNIE能夠很好理解這種關系，將結果預測為“消極”。在ChnSentiCorp情感分類測試集上finetune后ERNIE的預測準確率為95.4%，高于BERT的準確率(94.3%)。

從以上數(shù)據(jù)我們可以看到，ERNIE在大部分任務上都有不俗的表現(xiàn)。尤其是在序列標注、完形填空等詞粒度任務上，ERNIE的表現(xiàn)尤為突出，一點都不輸給Google的BERT。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。