摘要：針對全球人工智能安全框架缺失問題，在工業(yè)和信息化部網(wǎng)絡安全管理局指導下，中國信息通信研究院聯(lián)合瑞萊智慧RealAI、百度、騰訊、360、中科院信工所共同編制《人工智能安全框架(2020年)》藍皮書于此前正式發(fā)布，提出涵蓋人工智能安全目標，人工智能安全分級能力，以及人工智能安全技術和管理體系的人工智能安全框架。
當前，隨著全球人工智能規(guī)?；ㄔO和應用的持續(xù)加速，人工智能基礎設施、設計研發(fā)及融合應用面臨的安全風險正日益凸顯，保障人工智能應用安全可靠的需求日漸迫切。
雖然人工智能安全話題的社會關注度不斷提升，學術界也在積極推動安全攻防、聯(lián)邦學習、差分隱私機器學習、深度偽造檢測等方向的安全技術創(chuàng)新，但目前針對人工智能安全問題的分析研究仍存在不足，比如針對人工智能可能面臨哪些安全威脅，人工智能安全防御加固技術有哪些，面對新的安全威脅企業(yè)應如何部署安全能力等等內(nèi)容少有涉及。
在傳統(tǒng)網(wǎng)絡安全領域，NIST網(wǎng)絡安全框架、滑動標尺模型等能夠很好的指導用戶全面分析和解決網(wǎng)絡安全問題。但目前在人工智能領域還缺少類似能夠指引社會各方提升人工智能安全防護能力的框架。
因而，《人工智能安全框架(2020年)》藍皮書(下文簡稱“《框架》”)被提出，遵從實用性、前瞻性和整體性的原則，從全局化、體系化的角度打造人工智能風險地圖、人工智能安全框架、安全技術圖譜，便于有效部署實施人工智能技術，以及指導社會各方構建人工智能安全防護體系。
一、人工智能風險地圖
《框架》藍皮書不單單只看人工智能安全風險表現(xiàn)，結合人工智能系統(tǒng)設計運營全流程，根據(jù)人工智能所處的不同生命周期階段對安全風險進行劃分，以地圖的方式進行全局展示，一方面有利于更全詳盡、更深入的剖析人工智能所面臨的風險，另一方面也將有助于分析定位人工智能安全問題。
生命周期：根據(jù)國際標準化組織(ISO)對人工智能系統(tǒng)生命周期過程的劃分，可以概括為初始、設計研發(fā)、檢驗驗證、部署、運行監(jiān)控、持續(xù)驗證、重新評估、廢棄八個階段，分階段描繪出人工智能存在的安全風險，用戶可以根據(jù)自身情況有所側重。
風險來源：針對不同階段的不同風險表現(xiàn)，地圖羅列出背后的風險來源，分析導致該風險發(fā)生的根本原因，便于用戶從根源定位安全問題，從源頭給出應對措施。
風險表現(xiàn)：目前人工智能在不同生命周期階段會面臨的安全問題。值得注意的是攻擊者可以從多個環(huán)節(jié)進行攻擊達到目的，例如算法后門即可在設計研發(fā)階段通過修改訓練數(shù)據(jù)植入，也可以在運行監(jiān)控階段通過篡改模型文件植入，人工智能技術使用方需要對安全威脅做通盤考慮。
二、人工智能安全框架
人工智能技術特點及安全風險與傳統(tǒng)信息系統(tǒng)存在顯著差異，傳統(tǒng)網(wǎng)絡安全框架無法直接適用于人工智能應用，但《框架》藍皮書參考傳統(tǒng)網(wǎng)絡安全框架經(jīng)驗，圍繞安全目標、安全能力、安全技術和安全管理四個維度，聚焦人工智能基礎設施、設計研發(fā)以及應用行為決策過程中存在的安全風險，自頂向下、層層遞進，為企業(yè)不斷提升人工智能安全能力提供可遵循的迭代路徑。
安全目標：明確人工智能安全目標將為人工智能安全防護工作的實施指明方向。本框架通過全面分析人工智能應用面臨的安全風險，總結和提煉業(yè)界所提出的目標，最終從應用、功能、數(shù)據(jù)、決策、行為、事件六個方面明確安全目標。
安全能力：框架以滑動標尺為參考，按照安全能力建設難度逐級遞增，以及安全資源投入產(chǎn)出比逐級遞減的方式提出了人工智能安全能力分級疊加演進模型，規(guī)劃為架構安全、設被動防御、主動防御、威脅情報和反制進攻五級人工智能安全能力?；瑒訕顺邔ζ髽I(yè)安全能力建設的投入有指導性意義，比如從投入產(chǎn)出比的角度來看，用戶應選擇優(yōu)先構建架構安全層面的能力，難度低、資源投入少，但安全能力提升最為顯著。
安全技術：構建人工智能應用涉及人工智能業(yè)務、人工智能算法、人工智能訓練數(shù)據(jù)和機器學習框架平臺四大核心層面，為此解決人工智能安全問題也不能只停留其中一個層面，如僅考慮算法安全方面的問題，忽略了深度學習平臺相關的漏洞，也有可能被攻擊者找到突破口進而導致服務不可用等風險。本框架綜合業(yè)務、算法、數(shù)據(jù)和平臺四大層面所涉及的技術方法，完善了人工智能安全技術體系。
安全管理：除了安全技術外，組織建設也是達到安全目標的重中之重。企業(yè)需在法律法規(guī)、標準規(guī)范等指導下，在人工智能安全組織、人員和制度等方面具體開展實踐。雖然目前有人工智能安全相關的標準正在研制中，但推動人工智能安全能力的有效落地，還需要國家和行業(yè)人工智能安全法律法規(guī)、行業(yè)政策、倫理規(guī)范、技術標準等方面的持續(xù)努力。
安全技術圖譜
為便于企業(yè)有效部署實施人工智能業(yè)務、算法、數(shù)據(jù)和平臺安全技術，《框架》描繪出完整的人工智能安全技術圖譜，列舉各環(huán)節(jié)建議部署的安全技術以應對不同階段的安全問題。參照圖譜，企業(yè)可結合自身業(yè)務特點選擇應用合適的技術手段。
?同時，針對不同的技術手段，《框架》列舉了業(yè)屆已成熟落地的方案或者最有代表性的研究工作，為企業(yè)提供應用參考，比如目前在增強算法魯棒性、數(shù)據(jù)隱私計算領域應用較為成熟的數(shù)據(jù)增強與聯(lián)邦學習技術，《框架》中作了詳細介紹。
數(shù)據(jù)增強：通過模擬自然場景或?qū)箞鼍爸锌赡艹霈F(xiàn)的各類情況，支撐算法模型從數(shù)據(jù)中學習到相關特征提升算法魯棒性，從而在各種場景下始終保持正常的性能水平。數(shù)據(jù)增強方法可用于提升算法自然魯棒性。例如，可以通過旋轉平移、添加自然噪聲等模擬不同場景下的干擾數(shù)據(jù)，利用數(shù)據(jù)風格遷移生成不易收集的場景數(shù)據(jù)等方式生成訓練數(shù)據(jù)提升模型魯棒性。Dan Hendrycks等人開源的Corruption and Perturbation Robustness提供了可用于訓練測試的多種場景下的模擬數(shù)據(jù)。同時，數(shù)據(jù)增強方法也可以用于提升對抗魯棒性。例如，可以生成預加固模型的對抗樣本數(shù)據(jù)用于對抗訓練提升算法模型魯棒性。Madry 等人將對抗樣本數(shù)據(jù)與真實數(shù)據(jù)混合后進行對抗訓練可大幅提升模型應對對抗樣本攻擊的表現(xiàn)，進而提升模型魯棒性。
聯(lián)邦學習：指在各參與方數(shù)據(jù)不出本地的情況下，通過加密機制下的參數(shù)交換方式進行數(shù)據(jù)聯(lián)合訓練建立共享機器學習模型的過程。 針對不同的應用場景，聯(lián)邦學習有多種模式可供選擇。在用戶特征維 度重疊較多而用戶重疊較少的情況下可采用橫向聯(lián)邦學習。在用戶重 疊較多而特征維度重疊較少的情況下可采用縱向聯(lián)邦學習。在用戶與用戶特征維度重疊都較少的情況下采用聯(lián)邦遷移學習方式。微眾銀行推出了能提供一站式聯(lián)邦模型服務解決方案的 FATE，覆蓋橫向聯(lián)邦學習、縱向聯(lián)邦學習和聯(lián)邦遷移學習。騰訊T-Sec 聯(lián)邦學習方案能夠有效提升聯(lián)合建模場景下的安全性。瑞萊智慧發(fā)布的RealSecure在支持聯(lián)邦學習核心特性的基礎上，能夠極大方便聯(lián)邦學習算法開發(fā)和算法更新集成。
除此之外，《框架》還針對對抗樣本攻擊、模型后門、算法公平性、算法可解釋性、數(shù)據(jù)隱私保護等問題給出了如魯棒特征學習、模型自解釋、算法公平性約束、多方安全計算、同態(tài)加密等在內(nèi)的十余項熱門安全加固防護技術的深入介紹。
隨著人工智能安全風險日益凸顯，在關乎人類生命安全、財產(chǎn)安全以及國家社會安全的部分領域，人工智能應用安全防護的相關防護已有所開展，例如自動駕駛、智能信貸風控和深度偽造是開展人工智能安全防護較為領先的三個領域。為便于企業(yè)借鑒已有人工智能安全防護經(jīng)驗，《框架》藍皮書將結合行業(yè)實踐案例闡述上述三個領域人工智能安全防護工作開展。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
