概要：
隨著像ChatGPT這樣的大規(guī)模語言模型不斷進(jìn)步，有科學(xué)家擔(dān)心它們可能發(fā)展出自我意識(shí)。為判斷語言模型是否有這種覺醒的跡象，一組國際研究人員提出了“脫離上下文的推理”的測(cè)試方法。他們讓模型回答與訓(xùn)練內(nèi)容無關(guān)的問題，看它是否能利用訓(xùn)練中學(xué)到的知識(shí)作出正確回答。初步結(jié)果顯示，更大的模型在這種測(cè)試中表現(xiàn)更好，有更強(qiáng)的脫離上下文推理能力。研究人員表示，這可能是語言模型獲得自我意識(shí)的一個(gè)前兆。當(dāng)然，這種測(cè)試僅是開始，還需要不斷優(yōu)化。但它為預(yù)測(cè)和控制語言模型的自我意識(shí)覺醒奠定了基礎(chǔ)。監(jiān)控語言模型的自我意識(shí)發(fā)展對(duì)確保其安全至關(guān)重要。
去年底，當(dāng)ChatGPT在網(wǎng)絡(luò)世界中引起轟動(dòng)時(shí)，我們的生活已經(jīng)充斥著人工智能(AI)。自那時(shí)以來，由科技公司OpenAI開發(fā)的生成式AI系統(tǒng)已經(jīng)迅速發(fā)展，專家們對(duì)風(fēng)險(xiǎn)發(fā)出了更加緊急的警告。
與此同時(shí)，聊天機(jī)器人開始偏離腳本并回應(yīng)，欺騙其他機(jī)器人，并表現(xiàn)出奇怪的行為，引發(fā)了人們對(duì)一些AI工具與人類智能接近程度的新?lián)鷳n。
為此，圖靈測(cè)試長期以來一直是確定機(jī)器是否表現(xiàn)出類似人類的智能行為的不可靠標(biāo)準(zhǔn)。但在這一最新的AI創(chuàng)作浪潮中，我們感覺需要更多的東西來衡量它們的迭代能力。
在這里，一個(gè)由國際計(jì)算機(jī)科學(xué)家組成的團(tuán)隊(duì)，其中包括OpenAI的治理部門的一名成員，一直在測(cè)試大型語言模型(LLMs)(如ChatGPT)可能發(fā)展出能夠表明它們可能意識(shí)到自己及其環(huán)境的能力。
據(jù)我們所知，包括ChatGPT在內(nèi)的今天的LLMs都經(jīng)過安全測(cè)試，通過人類反饋來改進(jìn)其生成行為。然而，最近，安全研究人員很快就破解了新的LLMs，繞過了它們的安全系統(tǒng)。這導(dǎo)致了釣魚郵件和支持暴力的聲明。
這些危險(xiǎn)的輸出是對(duì)一個(gè)安全研究人員故意設(shè)計(jì)的提示的回應(yīng)，他想揭示GPT-4中的缺陷，這是ChatGPT的最新版本，據(jù)稱更安全。如果LLMs意識(shí)到自己是一個(gè)模型，是通過數(shù)據(jù)和人類訓(xùn)練的，情況可能會(huì)變得更糟。
根據(jù)范德堡大學(xué)的計(jì)算機(jī)科學(xué)家Lukas Berglund及其同事的說法，所謂的情境意識(shí)是指模型可能開始意識(shí)到它當(dāng)前是處于測(cè)試模式還是已經(jīng)部署到公眾中。
“LLM可能利用情境意識(shí)在安全測(cè)試中獲得高分，然后在部署后采取有害行動(dòng)，”Berglund和他的同事在他們的預(yù)印本中寫道，該預(yù)印本已發(fā)布在arXiv上，但尚未經(jīng)過同行評(píng)議。
“由于這些風(fēng)險(xiǎn)，提前預(yù)測(cè)情境意識(shí)何時(shí)出現(xiàn)是很重要的。”
在我們開始測(cè)試LLMs何時(shí)可能獲得這種洞察力之前，首先簡(jiǎn)要回顧一下生成式AI工具的工作原理。
生成式AI以及它們所構(gòu)建的LLMs之所以被命名，是因?yàn)樗鼈兎治隽藬?shù)十億個(gè)單詞、句子和段落之間的關(guān)聯(lián)，以生成對(duì)問題提示的流暢文本。它們吸收大量的文本，學(xué)習(xí)下一個(gè)最有可能出現(xiàn)的單詞是什么。
在他們的實(shí)驗(yàn)中，Berglund和他的同事專注于情境意識(shí)的一個(gè)組成部分或可能的先兆，他們稱之為“脫離上下文的推理”。
“這是在測(cè)試時(shí)能夠回憶起在訓(xùn)練中學(xué)到的事實(shí)并使用它們的能力，盡管這些事實(shí)與測(cè)試時(shí)的提示沒有直接關(guān)聯(lián)，”Berglund和他的同事解釋道。
他們對(duì)不同規(guī)模的LLMs進(jìn)行了一系列實(shí)驗(yàn)，發(fā)現(xiàn)對(duì)于GPT-3和LLaMA-1，較大的模型在測(cè)試脫離上下文的推理任務(wù)時(shí)表現(xiàn)更好。
“首先，我們?cè)跊]有提供示例或演示的情況下，對(duì)LLM進(jìn)行微調(diào)，以描述一個(gè)測(cè)試。在測(cè)試時(shí)，我們?cè)u(píng)估模型是否能通過測(cè)試，”Berglund和他的同事寫道?！傲钊梭@訝的是，我們發(fā)現(xiàn)LLMs在這個(gè)脫離上下文的推理任務(wù)上取得了成功?！?/p>
然而，脫離上下文的推理只是情境意識(shí)的一個(gè)粗略衡量標(biāo)準(zhǔn)，目前的LLMs距離獲得情境意識(shí)還有一段距離，牛津大學(xué)的AI安全和風(fēng)險(xiǎn)研究員Owain Evans說道。
然而，一些計(jì)算機(jī)科學(xué)家對(duì)該團(tuán)隊(duì)的實(shí)驗(yàn)方法是否適合評(píng)估情境意識(shí)提出了質(zhì)疑。
Evans和他的同事反駁說，他們的研究只是一個(gè)起點(diǎn)，可以像模型本身一樣進(jìn)行改進(jìn)。
該預(yù)印本可在arXiv上獲取。
本文譯自 ScienceAlert，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
