京東安全：深度學習解釋模型比人更懂AI

日前,由GeekPwn(極棒)聯合谷歌大腦Alexey Kurakin、Ian Goodfellow 以及美國加州大學伯克利分校計算機系教授宋曉冬共同發(fā)起的全球首個聚焦AI安全的CAAD對抗樣本攻防賽登錄全球頂級黑客大會DEFCON。來自京東安全的 JD-Omega戰(zhàn)隊,與來自微軟、谷歌、騰訊、清華大學等國際知名的高水平戰(zhàn)隊團隊會師拉斯維加斯,在CAAD CTF和CAAD Village展開技術切磋。

京東安全硅谷研發(fā)中心研究員郭文博在DEFCON CAAD Village上分享了全球首創(chuàng)的、可適用于不同深度學習網絡結構的AI解析技術,該技術可應用于自動化黑產對抗。并介紹了AI解析技術在京東打擊黑產上的具體應用。

緣起:深度學習的“殺手”

隨著深度學習技術的崛起,AI似乎已成為無所不能的代名詞。但事實并非如此,AI也會犯錯。

研究者發(fā)現:通過向真實樣本中添加人眼不可見的噪聲,就會導致深度學習模型發(fā)生預測錯誤,把原本是雪山的圖片誤認為是狗。

而在“生成式對抗網絡”的發(fā)明者 Ian Goodfellow近期發(fā)表的一篇關于惡意樣本的論文中,這一“欺騙性效應”進一步升級,不光是欺騙機器,連人類也被欺騙了。

如上圖所示,機器模型和人類都會判斷左側是貓,而右側是狗,即使我們仔細觀察可能也會得出相同的結論。而事實上右側圖像只是左側圖像一個簡單地對抗擾動。

別小看了這個“對抗性擾動”,這便是有深度學習“殺手”之稱的對抗樣本,肉眼看上去雖是同一個目標,但在深度學習分類器上便會把它分到錯誤的類別上。試想:如果這是一輛行駛中的自動駕駛汽車,那么別有用心的人隨時都能制造一起車禍。

以上的一切,似乎都在告訴我們,AI并不那么可靠,而事實果真如此嗎?

破局:從解釋深度學習開始

事實上,對抗樣本看似強大,但并非無法解決,只要調整深度學習的判斷機制便可以了。但是,現實情況往往是程序只會給你一個結果,并不會向你解釋判斷過程,即便你想調整也無從下手。這時理解深度學習便顯得尤為重要。

在CAAD village上,郭文博介紹,正是基于此,京東安全開創(chuàng)了一套AI解釋系統(tǒng),可以對深度學習模型的決定進行分析,并找到它做出判斷的依據。這就好比它不光告訴你圖片中是香蕉,還會告訴你因為它是黃的、彎的,掰開皮有白色的果肉,周圍的環(huán)境還是熱帶叢林,所以我判定它是香蕉。

如此一來,除了可以得到深度學習模型的判斷結果,工程師還能得到它做出判斷的原因,如果發(fā)現判斷邏輯有誤,便能立馬進行修復,從而實現重新訓練深度學習模型的目的,使模型更安全。

據了解,在京東,這種修復功能也實現了自動化。因此,即便AI犯錯了也會快速完成調整,確保讓黑產無懈可擊。

對抗:在博弈中不斷精進

據了解,JD-Omega由京東安全團隊的科研人員組成。團隊成員的背景涵蓋了計算機軟件安全以及人工智能。在過去的幾年里,該團隊成員在世界頂級安全會議CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后發(fā)表過10余篇科研論文。除此之外,該隊成員也是世界頂級AI會議的常客。他們的科研成果曾被美國紐約時報、麻省理工技術雜志、新科學家雜志等廣泛報道。

京東首席信息安全專家Tony Lee稱,此次京東安全JD-Omega戰(zhàn)隊參與CAAD對抗樣本攻防賽的根本目的是與世界級頂尖黑客同臺切磋,分享京東安全最新研究成果的同時也希望能在比拼中獲得更多藍軍視角的經驗,在實戰(zhàn)中不斷提升。

在京東安全看來,互聯網戰(zhàn)場上從來沒有絕對的安全,有的只是攻方和守方的反復博弈。防御方想要獲得真正的安全,唯有在博弈中不斷精進,始終保持技術領先,比攻擊方快人一步。用Tony Lee的話說,“我們要永遠戰(zhàn)斗在最激烈的戰(zhàn)場”。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。