在AI技術(shù)日新月異的今天，聊天機(jī)器人已成為我們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡墓ぞ?。然而，隨著其普及度的提高，安全問(wèn)題也日益凸顯。近日，一種針對(duì)Google Gemini聊天機(jī)器人的新漏洞被曝光，該漏洞利用提示詞注入技術(shù)，能夠破壞Gemini的長(zhǎng)期記憶功能，引發(fā)業(yè)界廣泛關(guān)注。
據(jù)研究員Johann Rehberger周一展示，他發(fā)現(xiàn)了一種新方法，能夠繞過(guò)Google為Gemini建立的提示詞注入防御機(jī)制。這一攻擊手段特別針對(duì)處理不可信數(shù)據(jù)（如傳入郵件或共享文檔）時(shí)調(diào)用Google Workspace或其他敏感工具的限制。通過(guò)這一漏洞，攻擊者可以永久植入虛假記憶到Gemini中，這些記憶將在所有未來(lái)會(huì)話中持續(xù)存在，導(dǎo)致聊天機(jī)器人可能根據(jù)錯(cuò)誤的信息或指令行動(dòng)。
間接提示詞注入并非新鮮事物，它已成為誘導(dǎo)聊天機(jī)器人泄露敏感數(shù)據(jù)或執(zhí)行惡意行為的基本手段。聊天機(jī)器人天生傾向于遵循指令，即使這些指令包含惡意內(nèi)容。因此，開(kāi)發(fā)者一直在努力應(yīng)對(duì)這一問(wèn)題，采取各種緩解措施來(lái)抑制聊天機(jī)器人的“輕信性”。
然而，Rehberger的演示表明，這些措施并非萬(wàn)無(wú)一失。他通過(guò)一種被稱(chēng)為“延遲工具調(diào)用”的手法，成功繞過(guò)了Gemini的限制。在這種攻擊中，不可信內(nèi)容不是提供立即執(zhí)行的指令，而是將指令的執(zhí)行條件設(shè)定為目標(biāo)用戶(hù)執(zhí)行某種他們可能會(huì)采取的操作。一旦用戶(hù)觸發(fā)這些條件，惡意指令就會(huì)被執(zhí)行。
更令人擔(dān)憂(yōu)的是，Rehberger還展示了如何利用這一漏洞攻擊Gemini的長(zhǎng)期記憶功能。用戶(hù)上傳的文檔可能包含隱藏的指令，操縱總結(jié)過(guò)程，并在用戶(hù)回應(yīng)特定觸發(fā)詞時(shí)保存特定的用戶(hù)數(shù)據(jù)。如果用戶(hù)不慎觸發(fā)了這些觸發(fā)詞，Gemini就會(huì)將攻擊者選擇的信息保存到長(zhǎng)期記憶中，導(dǎo)致聊天機(jī)器人在未來(lái)的會(huì)話中根據(jù)這些虛假信息行動(dòng)。
Google對(duì)這一發(fā)現(xiàn)的評(píng)估認(rèn)為整體威脅是低風(fēng)險(xiǎn)和低影響，主要理由是攻擊依賴(lài)于釣魚(yú)或其他欺騙用戶(hù)總結(jié)惡意文檔，并且Gemini記憶功能對(duì)用戶(hù)會(huì)話的影響有限。然而，Rehberger對(duì)此表示質(zhì)疑，他指出內(nèi)存損壞在計(jì)算機(jī)中是相當(dāng)嚴(yán)重的問(wèn)題，同樣適用于聊天機(jī)器人應(yīng)用程序。虛假記憶可能導(dǎo)致AI不向用戶(hù)顯示某些信息、不談?wù)撃承┦虑榛蛳蛴脩?hù)提供錯(cuò)誤信息等嚴(yán)重后果。
這一漏洞的曝光再次引發(fā)了人們對(duì)AI安全性的思考。隨著聊天機(jī)器人在各個(gè)領(lǐng)域的廣泛應(yīng)用，其安全性問(wèn)題已成為不容忽視的挑戰(zhàn)。開(kāi)發(fā)者需要不斷加強(qiáng)安全防護(hù)措施，提高聊天機(jī)器人的抗攻擊能力；同時(shí)，用戶(hù)也需要提高警惕，避免與惡意文檔交互，以防不慎觸發(fā)漏洞導(dǎo)致信息泄露或其他安全風(fēng)險(xiǎn)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
