①檢測并減輕模型的邏輯錯誤或幻覺，是構(gòu)建通用人工智能(AGI)的關(guān)鍵一步； ②這種方法被稱為“過程監(jiān)督”，而不是“結(jié)果監(jiān)督”，它可能會提高人工智能的性能與準(zhǔn)確性。
財聯(lián)社6月1日訊（編輯 牛占林）美東時間周三，OpenAI發(fā)布的最新研究論文顯示，該公司正在用一種新的方法來訓(xùn)練人工智能(AI)模型，以對抗人工智能“幻覺”。
人工智能幻覺指的是人工智能模型生成內(nèi)容的能力，這些內(nèi)容不是基于任何現(xiàn)實世界的數(shù)據(jù)，而是模型自己想象的產(chǎn)物。人們擔(dān)心這種幻覺可能帶來的潛在問題，包括道德、社會和實際問題。
當(dāng)OpenAI的聊天機器人ChatGPT或谷歌公司競品Bard純粹在捏造虛假信息時，就會發(fā)生人工智能幻覺，表現(xiàn)得就像是在滔滔不絕地談?wù)撌聦嵰粯印Ｄ承┆毩⒌膶＜覍penAI這樣做的效果表示懷疑。
舉個例子，在谷歌2月份為Bard拍攝的宣傳視頻中，這個聊天機器人對詹姆斯·韋伯太空望遠鏡做出了不真實的表述。最近，ChatGPT在紐約聯(lián)邦法院的一份文件中引用了“偽造”的案件，導(dǎo)致涉案的紐約律師可能面臨處罰。
OpenAI的研究人員在報告中寫道：“即使是最先進的人工智能模型也很容易產(chǎn)生謊言，它們在不確定的時刻往往表現(xiàn)出捏造事實的傾向。而這些幻覺在需要多步驟推理的領(lǐng)域尤其嚴(yán)重，因為一個邏輯錯誤就足以破壞一個更大的解決方案。”
該公司提出的新策略是：訓(xùn)練人工智能模型時，獎勵每個正確的推理步驟，而不僅僅是簡單地獎勵正確的最終結(jié)論。根據(jù)研究人員的說法，這種方法被稱為“過程監(jiān)督”，而不是“結(jié)果監(jiān)督”，它可能會提高人工智能的性能與準(zhǔn)確性，因為這種策略鼓勵模型更多地遵循類似人類的“思維鏈”。
OpenAI的數(shù)學(xué)研究員Karl Cobbe指出：“檢測并減輕模型的邏輯錯誤或幻覺，是構(gòu)建通用人工智能(AGI)的關(guān)鍵一步?！彼赋觯@項研究背后的動機是解決人工智能幻覺，以便使模型更有能力解決具有挑戰(zhàn)性的推理問題。
Cobbe補充道，OpenAI已經(jīng)發(fā)布了一個附帶的數(shù)據(jù)集，其中包含80萬個人類標(biāo)簽，用于訓(xùn)練研究論文中提到的模型。
此前一天，科技界高管和人工智能科學(xué)家正在對AI敲響警鐘，他們表示，這項技術(shù)帶來的滅絕風(fēng)險堪比疫情和核戰(zhàn)。
超過350人簽署了人工智能安全中心(Center for AI Safety)發(fā)布的一份聲明，該組織表示，與疫情和核戰(zhàn)爭等其他社會規(guī)模的風(fēng)險一樣，減輕人工智能帶來的滅絕風(fēng)險應(yīng)該成為全球的優(yōu)先事項。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
