牛津大學(xué)的研究人員發(fā)現(xiàn)了一種簡單的方法，可以判斷大型語言模型何時在編造內(nèi)容。
眾所周知，大型語言模型(LLM)在回答問題時有時會給出明顯錯誤的答案，而且這種錯誤的自信與它們正確回答時的自信無異。這有多種原因。AI可能接受了錯誤信息的訓(xùn)練；答案可能需要LLM無法推導(dǎo)的事實；或者LLM的某些訓(xùn)練環(huán)節(jié)可能促進(jìn)了錯誤信息的產(chǎn)生。
但也許最簡單的解釋是，LLM并不知道什么是正確答案，卻被迫提供一個答案。因此，它只是憑空捏造了一個答案，這種習(xí)慣被稱為“編造”(confabulation)。
顯然，弄清楚LLM何時在編造答案非常重要，尤其是人們已經(jīng)開始迅速依賴它們處理從大學(xué)論文到求職申請等各種事情?，F(xiàn)在，牛津大學(xué)的研究人員表示，他們發(fā)現(xiàn)了一種相對簡單的方法，可以判斷LLM何時在編造內(nèi)容，這種方法適用于所有流行模型和廣泛的主題。在此過程中，他們還證明了LLM提供的大多數(shù)錯誤信息都是編造的。
捕捉編造內(nèi)容
這項新研究嚴(yán)格關(guān)注編造內(nèi)容，而非訓(xùn)練時輸入錯誤信息的情況。牛津團(tuán)隊在描述工作的論文中定義，編造內(nèi)容是指“LLM流利地做出錯誤且任意的聲明——我們指的是答案對諸如隨機種子等無關(guān)細(xì)節(jié)很敏感?！?/p>
他們的研究背后的推理實際上非常簡單。LLM并不是為了準(zhǔn)確性而訓(xùn)練的；它們只是接受了大量文本的訓(xùn)練，并通過這種訓(xùn)練學(xué)會了產(chǎn)生人類語言風(fēng)格的措辭。如果在訓(xùn)練中，大量文本一致地將某事物呈現(xiàn)為事實，那么LLM很可能也會將其呈現(xiàn)為事實。但如果訓(xùn)練中的例子很少，或者事實不一致，那么LLM就會合成一個聽起來似乎合理但可能錯誤的答案。
LLM在有多個選項可以表達(dá)正確答案時，也會遇到類似的情況。例如，研究人員的論文中提到，“巴黎”、“它在巴黎”和“法國首都巴黎”都是“埃菲爾鐵塔在哪里？”的有效答案。因此，在這種情況下，統(tǒng)計不確定性(在此稱為熵)可能會出現(xiàn)，要么是LLM對如何表達(dá)正確答案不確定，要么是它無法識別正確答案。
這意味著強迫LLM在面對幾個大致相當(dāng)?shù)拇鸢笗r回答“我不知道”并不是一個好主意。這樣做可能會阻止許多正確答案的產(chǎn)生。
因此，研究人員專注于他們稱之為語義熵的概念。這評估了LLM評估的所有統(tǒng)計上可能的答案，并確定其中有多少是語義上等價的。如果大量答案都具有相同的意義，那么LLM可能對措辭不確定，但答案是正確的。如果不是這樣，那么它可能處于容易編造答案的情況，此時應(yīng)阻止它這樣做。
提取意義
這在實際中是如何工作的？描述非常直白：
我們的方法通過對每個問題采樣幾個可能的答案，并通過算法將它們聚類成具有相似意義的答案來工作，我們判斷答案是否在同一個聚類的依據(jù)是這些答案是否雙向蘊涵對方。如果句子A蘊涵句子B為真，反之亦然，那么我們認(rèn)為它們屬于同一個語義聚類。
如果一個聚類占主導(dǎo)地位，那么AI正在從一個具有相似事實內(nèi)容的選項集合中選擇答案。如果有多個聚類，那么AI正在不同的事實內(nèi)容集合中選擇答案，這種情況下可能會導(dǎo)致編造內(nèi)容。
除了概念上的簡單性，基于這些想法實施一個系統(tǒng)也很簡單。大多數(shù)主要的LLM都會生成一組統(tǒng)計上可能的答案，這些答案是評估語義熵所需要的。已經(jīng)有LLM和稱為自然語言推理工具的軟件，可以判斷兩個句子是否互相蘊涵。而且，因為這些工具已經(jīng)存在，所以不需要監(jiān)督訓(xùn)練，這意味著系統(tǒng)不需要通過編造內(nèi)容的例子來學(xué)習(xí)確定一組潛在答案的語義熵。
研究人員開發(fā)了一種度量，來確定用戶通過語義熵過濾器可以獲得的準(zhǔn)確性提升。他們將其與其他幾種錯誤捕捉方法上進(jìn)行了測試，涵蓋了大量主題：包括瑣事和一般知識、生物學(xué)，以及一組Google搜索查詢。
在這些測試中，有兩個明顯的發(fā)現(xiàn)。首先，除了少數(shù)邊緣情況外，語義熵方法比其他方法捕捉到更多的錯誤答案。其次，大多數(shù)LLM產(chǎn)生的錯誤似乎都是編造內(nèi)容。這可以從以下事實推斷得出：一些其他方法捕捉了各種類型的錯誤，但它們的表現(xiàn)不如語義熵測試，即使這些測試只捕捉編造內(nèi)容。
超越簡單事實
研究人員還展示了該系統(tǒng)可以適應(yīng)處理超過基本事實陳述的情況，例如傳記，這是一大堆個人事實。因此，他們開發(fā)了一個軟件，將傳記信息分解成一系列個人事實陳述，并使用語義熵評估每個陳述。這在包含多達(dá)150個個人事實聲明的簡短傳記中也有效。
總體而言，這似乎是一個高度靈活的系統(tǒng)，不需要進(jìn)行重大新開發(fā)就可以投入實踐，并且可以顯著改善LLM的性能。由于它只捕捉編造內(nèi)容而非其他類型的錯誤，因此可能可以與其他方法結(jié)合使用，以進(jìn)一步提高性能。
正如研究人員所指出的那樣，這項工作還表明，在答案選項的統(tǒng)計數(shù)據(jù)中，LLM似乎擁有知道何時有正確答案所需的所有信息；只是這些信息沒有被充分利用。正如他們所說，“語義熵在檢測錯誤方面的成功表明，LLM在‘知道它們不知道什么’方面比之前認(rèn)為的更強，只是它們不知道自己知道什么。”
本文譯自 Ars Technica，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
