研究人員仍然難以理解通過模仿互聯(lián)網(wǎng)文本進(jìn)行訓(xùn)練的AI模型如何執(zhí)行高級任務(wù)，比如運行代碼、玩游戲和試圖破壞婚姻
還沒有人知道ChatGPT及其人工智能表兄弟將如何改變世界，一個原因是還沒有人真正知道它們內(nèi)部發(fā)生了什么。這些系統(tǒng)的某些能力遠(yuǎn)遠(yuǎn)超出了它們的訓(xùn)練范圍——甚至它們的發(fā)明者對此也感到困惑。越來越多的測試表明，這些AI系統(tǒng)開發(fā)出內(nèi)在的對真實世界的模型，有點像我們自己的大腦，盡管機器的技術(shù)不同。
布朗大學(xué)的Ellie Pavlick是正在填補這一解釋空白的研究人員之一，她說：“為了使它們變得更好、更安全或者任何我們想對它們做的事情，如果我們不理解它們的工作方式，這似乎對我來說是一個荒謬的要求。”
在一個層面上，她和她的同事完全理解GPT(代表“生成式預(yù)訓(xùn)練轉(zhuǎn)換器”)和其他大型語言模型，或者LLM。這些模型依賴于一種稱為神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)系統(tǒng)。這樣的網(wǎng)絡(luò)結(jié)構(gòu)大致模仿了人腦中相互連接的神經(jīng)元。這些程序的代碼相對簡單，只占了幾個屏幕。它建立了一個自動更正算法，根據(jù)對數(shù)以吉字節(jié)的互聯(lián)網(wǎng)文本的艱苦統(tǒng)計分析，選擇最有可能完成一段文字的詞語。額外的訓(xùn)練確保系統(tǒng)將以對話形式呈現(xiàn)其結(jié)果。從這個意義上說，它所做的只是反芻它學(xué)到的東西——用華盛頓大學(xué)語言學(xué)家Emily Bender的話說，它是一個“隨機重復(fù)”。 (這并不是貶低了已故的非洲灰鸚鵡Alex，它理解顏色、形狀和“面包”等概念，并有意地使用對應(yīng)的詞語。)但是LLM也成功通過了律師資格考試，寫了一首關(guān)于希格斯玻色子的十四行詩，并試圖斷絕用戶的婚姻。幾乎沒有人期望一個相當(dāng)直接的自動更正算法獲得如此廣泛的能力。
GPT和其他AI系統(tǒng)執(zhí)行它們沒有接受訓(xùn)練的任務(wù)，賦予它們“新出現(xiàn)的能力”，這就連對LLM炒作持懷疑態(tài)度的研究人員也感到驚訝。圣達(dá)菲研究所的AI研究員梅拉尼·米切爾說：“我不知道它們是如何做到的，或者它們是否能像人類那樣更廣泛地做到這一點——但它們挑戰(zhàn)了我的觀點?！?/p>
蒙特利爾大學(xué)的AI研究員Yoshua Bengio說：“它當(dāng)然不僅僅是一個隨機重復(fù)，它肯定建立了對世界的某種表征——盡管我不認(rèn)為它與人類建立內(nèi)在世界模型的方式非常相似?！?/p>
在3月紐約大學(xué)舉行的一次會議上，哥倫比亞大學(xué)的哲學(xué)家Rapha?l Millière提出了LLM能力的另一個令人震驚的例子。這些模型已經(jīng)展示了編寫計算機代碼的能力，這令人印象深刻但并不太令人驚訝，因為互聯(lián)網(wǎng)上有大量代碼可以模仿。 Millière進(jìn)一步展示了GPT也可以執(zhí)行代碼。這位哲學(xué)家輸入了一個程序來計算斐波那契數(shù)列的第83個數(shù)。他說：“這是非常高度的多步推理?！边@個機器人算對了。然而，當(dāng)Millière直接要求第83個斐波那契數(shù)時，GPT算錯了，這表明該系統(tǒng)不僅僅是在重復(fù)互聯(lián)網(wǎng)。相反，它正在執(zhí)行自己的計算以得出正確答案。
盡管LLM在計算機上運行，但它本身不是計算機。它缺乏必要的計算元素，如工作記憶。GPT的發(fā)明者OpenAI隱含地承認(rèn)，GPT本身不應(yīng)該能運行代碼，因此在回答查詢時推出了一個專門的插件——一個ChatGPT可以使用的工具——允許它運行代碼。但Millière的演示中沒有使用這個插件。相反，他假設(shè)這臺機器通過利用其根據(jù)上下文解釋詞語的機制來即興創(chuàng)作記憶——一個類似于自然選擇現(xiàn)有能力以適應(yīng)新功能的情況。
這種即興的能力表明，LLM的內(nèi)在復(fù)雜性遠(yuǎn)遠(yuǎn)超出了膚淺的統(tǒng)計分析。研究人員發(fā)現(xiàn)，這些系統(tǒng)似乎對所學(xué)知識有了真正的理解。在5月國際學(xué)習(xí)表示會議上提出的一項研究中，哈佛大學(xué)博士生Kenneth Li及其AI研究者同事——麻省理工學(xué)院的Aspen K. Hopkins、東北大學(xué)的David Bau以及哈佛大學(xué)的Fernanda Viégas、Hanspeter Pfister和Martin Wattenberg——啟動了自己的小型GPT神經(jīng)網(wǎng)絡(luò)副本，以便研究其內(nèi)部工作。他們通過以文本形式輸入大量的黑白棋走法來訓(xùn)練它。他們的模型變成了一個近乎完美的玩家。
為了研究神經(jīng)網(wǎng)絡(luò)如何編碼信息，他們采用了Yoshua Bengio和Guillaume Alain(也在蒙特利爾大學(xué))在2016年設(shè)計的技術(shù)。他們創(chuàng)建了一個微型的“探測器”網(wǎng)絡(luò)來逐層分析主網(wǎng)絡(luò)。Li將這種方法比作神經(jīng)科學(xué)方法。他說：“這與當(dāng)我們在人腦中放置電探針相似。”在AI的情況下，探測器顯示其“神經(jīng)活動”與黑白棋棋盤的表示相匹配，盡管是卷積形式。為了確認(rèn)這一點，研究人員以相反方向運行探測器，將信息植入網(wǎng)絡(luò)中——例如，將游戲中的一個黑色標(biāo)記翻轉(zhuǎn)為白色。Li說：“基本上我們黑進(jìn)了這些語言模型的大腦?！本W(wǎng)絡(luò)相應(yīng)地調(diào)整了走子。研究人員得出結(jié)論，它玩黑白棋的方式與人類大致相同：在“心靈之眼”中保持一個棋盤，并使用這個模型來評估走子。Li說，他認(rèn)為這個系統(tǒng)之所以學(xué)會這項技能，是因為它是對訓(xùn)練數(shù)據(jù)最簡潔的描述。他補充說：“如果給你一大堆游戲腳本，試圖找出其后的規(guī)則是最好的壓縮方式?！?/p>
從語言中提取其潛在意義的能力不僅限于簡單的游戲走子;它也出現(xiàn)在對話中。麻省理工學(xué)院的Belinda Li(與Kenneth Li無親屬關(guān)系)、Maxwell Nye和Jacob Andreas研究了玩基于文本的冒險游戲的網(wǎng)絡(luò)。他們輸入諸如“鑰匙在寶箱里”之類的句子，然后是“你拿起鑰匙”。使用探測器，他們發(fā)現(xiàn)網(wǎng)絡(luò)內(nèi)部編碼了與“箱子”和“你”對應(yīng)的變量，每個變量都具有擁有鑰匙與否的屬性，并逐句更新這些變量。該系統(tǒng)本身并不知道什么是箱子或鑰匙， yet它獲取了這個任務(wù)所需的概念。Belinda Li說：“模型內(nèi)部隱藏著某種狀態(tài)的表示?！?/p>
研究人員對LLM從文本中學(xué)習(xí)的能力感到驚嘆。例如，Pavlick和她當(dāng)時的博士生Roma Patel發(fā)現(xiàn)，這些網(wǎng)絡(luò)從互聯(lián)網(wǎng)文本中吸收顏色描述，并構(gòu)建內(nèi)部顏色表示。當(dāng)它們看到“紅色”這個詞時，它們不僅將其處理為一個抽象符號，還將其作為一個與赤褐色、絳紅色、薔薇色等有某種關(guān)系的概念。展示這一點有些棘手。研究人員沒有向網(wǎng)絡(luò)插入探測器，而是研究了它對一系列文本提示的響應(yīng)。為了檢查它是否僅僅在重復(fù)網(wǎng)上參考的顏色關(guān)系，他們試圖通過告訴它紅色實際上是綠色來誤導(dǎo)系統(tǒng)——類似以前的哲學(xué)思想實驗，一個人的紅色是另一個人的綠色。但是該系統(tǒng)的顏色評估改變得恰當(dāng)，以維持正確的關(guān)系，而不是重復(fù)錯誤答案。
從這個想法出發(fā)，即為了執(zhí)行其自動校正功能，系統(tǒng)尋求訓(xùn)練數(shù)據(jù)背后的邏輯，微軟研究院的機器學(xué)習(xí)研究員Sébastien Bubeck認(rèn)為，數(shù)據(jù)范圍越廣，系統(tǒng)發(fā)現(xiàn)的規(guī)則就越普遍。他說：“也許我們看到如此巨大的飛躍，是因為我們達(dá)到了數(shù)據(jù)多樣性，大到唯一的潛在原則就是智能存在產(chǎn)生了它們。所以解釋所有的 數(shù)據(jù)的唯一方法就是[模型]變得智能?！?/p>
除了提取語言的潛在含義之外，LLM還可以即時學(xué)習(xí)。在AI領(lǐng)域，“學(xué)習(xí)”這個術(shù)語通常保留給開發(fā)人員將神經(jīng)網(wǎng)絡(luò)暴露給吉字節(jié)的數(shù)據(jù)并調(diào)整其內(nèi)部連接的計算密集型過程。當(dāng)你向ChatGPT輸入查詢時，網(wǎng)絡(luò)應(yīng)該是固定的;與人類不同，它不應(yīng)該繼續(xù)學(xué)習(xí)。所以，LLM確實從用戶的提示中學(xué)習(xí)這個事實來作為一個驚喜，這種能力被稱為上下文學(xué)習(xí)。新加坡人工智能公司SingularityNET的創(chuàng)始人Ben Goertzel說：“這是一種以前不太被理解存在的不同學(xué)習(xí)。”
一個LLM如何學(xué)習(xí)的例子來自人類與ChatGPT等聊天機器人的互動方式。你可以給系統(tǒng)提供如何響應(yīng)的示例，它會服從。其輸出由它剛剛看到的幾千個詞決定。給定這些詞，它所做的由其固定的內(nèi)部連接決定——但詞序列仍提供了一定的適應(yīng)性。整個網(wǎng)站致力于“越獄”提示，這可以克服系統(tǒng)的“警戒線”——止步它不告訴用戶如何制造煙斗炸彈之類的限制——通常是指示模型假裝成一個沒有警戒線的系統(tǒng)。有些人出于可疑目的使用越獄，而其他人則利用它來引出更有創(chuàng)意的答案。佛羅里達(dá)大西海岸大學(xué)機器感知與認(rèn)知機器人實驗室的共同主任William Hahn說：“我會說，它在回答科學(xué)問題方面會更好”，而不僅僅是直接詢問它，沒有特殊的越獄提示?！八趯W(xué)術(shù)研究上會更好?！?/p>
另一種上下文學(xué)習(xí)發(fā)生在“思維鏈”提示中，這意味著要求網(wǎng)絡(luò)詳細(xì)說明其推理的每一步——這種策略使其在需要多步邏輯或算術(shù)問題上表現(xiàn)更好。(但Millière的例子如此令人驚訝的一點是，網(wǎng)絡(luò)在沒有任何這樣的提示的情況下就找到了斐波那契數(shù)。)
2022年，谷歌研究院和瑞士蘇黎世聯(lián)邦理工學(xué)院的一個團(tuán)隊——約翰內(nèi)斯·馮·奧斯瓦爾德、艾文·尼克拉松、埃托爾·蘭達(dá)佐、若奧·薩克拉門托、亞歷山大·莫德文采夫、安德烈·日莫金和馬克思·弗拉季米羅夫——展示了上下文學(xué)習(xí)遵循與標(biāo)準(zhǔn)學(xué)習(xí)相同的基本計算過程，也就是所謂的梯度下降。這個過程不是程序化的;系統(tǒng)是在沒有幫助的情況下發(fā)現(xiàn)的。谷歌研究院副總裁Blaise Agüera y Arcas說：“這需要是一個學(xué)習(xí)到的技能。”事實上，他認(rèn)為LLM可能還有一些潛在的沒人發(fā)現(xiàn)的能力。他說：“每次我們?yōu)樾碌目闪炕哪芰M(jìn)行測試時，我們都會發(fā)現(xiàn)它?！?/p>
盡管LLM有足夠的盲點不符合人工普適智能或AGI的條件——這是機器達(dá)到動物大腦資源fulness的術(shù)語——但這些新出現(xiàn)的能力向一些研究人員表明，科技公司距離AGI比樂觀主義者猜想的還要接近。新加坡人工智能公司SingularityNET的創(chuàng)始人Ben Goertzel 3月在佛羅里達(dá)大西海岸大學(xué)舉行的深度學(xué)習(xí)會議上說：“它們是我們距離AGI可能不遠(yuǎn)的間接證據(jù)?！?OpenAI的插件給ChatGPT提供了一個有點像人腦的模塊化架構(gòu)。麻省理工學(xué)院研究員Anna Ivanova說：“將GPT-4[ChatGPT的最新LLM版本]與各種插件組合可能是通向類人特化功能的途徑?！?/p>
與此同時，研究人員擔(dān)心他們研究這些系統(tǒng)的窗口可能正在關(guān)閉。OpenAI沒有透露GPT-4的設(shè)計和訓(xùn)練細(xì)節(jié)，部分原因是它與谷歌等公司以及其他國家陷入競爭。 M.I.T.的理論物理學(xué)家Dan Roberts說，他將物理學(xué)的技術(shù)應(yīng)用于理解AI：“行業(yè)的開放研究可能會減少，事情會變得更加封閉和圍繞產(chǎn)品建設(shè)組織?！?/p>
圣達(dá)菲研究所的Mitchell說，這種不透明不僅傷害研究人員，還會阻礙了解匆忙采用AI技術(shù)的社會影響的努力。她說：“關(guān)于這些模型的透明度是確保安全的最重要事情?！?/p>
本文譯自 Scientific American，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
