騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

DeepSeek的橫空出世,標志中國在人工智能領域的重大技術突破,吸引全球的關注。與此同時,飛速發(fā)展的人工智能技術為安全行業(yè)帶來新的思考題:如何利用AI賦能安全攻防,如何確保AI技術本身的安全性,均成為開發(fā)者和企業(yè)關注的焦點。大模型時代下,如何探索安全破局之道?

3月30日,「大模型時代:安全如何洗牌」TVP AI與安全高峰論壇在北京圓滿落幕。本次論壇匯聚安全領域產學研的頂尖專家和行業(yè)領袖,聚焦大模型時代AI與安全的熱點話題,從技術突破、產業(yè)實踐到風險治理等多個維度,探討AI與安全的新技術、新應用及新思考。論壇上半場圍繞“AI賦能安全”,深入討論AI如何推動安全能力升級,解析大模型帶來的新機遇;下半場以“護航AI安全”為主題,面對AI自身的安全挑戰(zhàn),探討AI安全發(fā)展方向,整體論壇為與會者提供從技術應用到風險治理的全景視角,這是一場解碼 AI與安全融合發(fā)展的技術盛宴。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

主持人開場

主持人賽博英杰科技創(chuàng)始人&CEO、騰訊云 TVP、CCF TF安全SIG主席 譚曉生在開場時表示,在過去兩年中,隨著ChatGPT的推出,人工智能取得顯著進展,在各行各業(yè)得到廣泛應用,國內安全企業(yè)紛紛加大在AI領域的投入。然而,當大家在部署大模型應用的過程中,大模型自身的安全問題逐漸顯現。這一現象與十年前大數據概念興起時的經歷相似:開發(fā)者和企業(yè)先是思考利用新技術提升安全能力,再來解決新技術本身的安全問題。我在安全行業(yè)深耕30多年,相信 AI將引發(fā)行業(yè)的重大洗牌。本次活動是一個難得的機會,我們邀請到業(yè)內頂尖專家共同研討相關話題,以推動安全行業(yè)的進步與發(fā)展。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

賽博英杰科技創(chuàng)始人&CEO、騰訊云 TVP、CCF TF安全SIG主席 譚曉生

開場致辭

會議伊始,騰訊安全副總裁、云鼎實驗室負責人 董志強發(fā)表開場致辭。他指出,以GPT為代表的大模型技術為安全領域帶來革命性的影響。攻擊者利用大模型技術,使得攻擊手段更加工業(yè)化且成本降低,但是防御方相對有些滯后,這種情況下可能會進一步加劇攻防不對稱,增加防御難度。此外,在訓練大模型時,數據脫敏等安全性問題不可小覷。在大模型的部署階段,我們還需警惕越權訪問、GPU資源濫用等潛在的安全隱患。針對以上問題,董志強建議使用小模型或專用安全模型以及加強合規(guī)管理措施。他表示,大模型正在重構網絡安全戰(zhàn)場,國外已有創(chuàng)業(yè)公司在探索AI驅動的安全產品,其中蘊藏無限的創(chuàng)新潛力與機遇,期待與大家共同交流與思想碰撞。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

騰訊安全副總裁、云鼎實驗室負責人 董志強

一、AI賦能的未來安全:創(chuàng)新趨勢和實踐探索

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

深信服科技AI安全業(yè)務總經理 張振禮

在上半場的主題演講環(huán)節(jié)中,深信服科技AI安全業(yè)務總經理 張振禮發(fā)表《AI賦能的未來安全:創(chuàng)新趨勢和實踐探索》的報告。

張振禮先是分享對AI賦能安全的理解:第一,安全本來就碎片化,不能每個安全GPT場景單獨的模型分開部署,要統(tǒng)一規(guī)劃,通過良好的架構設計實現各類大模型算力的統(tǒng)一調度和適配;第二,基礎大模型持續(xù)進化,安全大模型需要具備快速融合、集成、吸收優(yōu)秀基礎模型的知識和推理能力,智能體的元年開啟,持續(xù)為安全場景帶來體驗和效果的改進;第三,安全團隊在AI時代要具備RAG、微調等技能;四是開放性,AI時代,安全產品需具備適應性以匹配不同行業(yè)的具體場景需求。

張振禮表示,網絡安全是一個對檢出率、準確率有極高追求的toB領域,將任何的開源基座大模型落地于安全領域,都絕非簡單的接入、縫合,而是一個復雜的系統(tǒng)工程。比如DeepSeek在安全垂直領域商業(yè)落地,必須具有安全垂域大模型的實踐數據、對基座模型的安全場景馴化經驗、面向安全業(yè)務的AI系統(tǒng)工程,才能強化優(yōu)勢,應對挑戰(zhàn)。我們需經過指令微調、預訓練及強化學習三個階段,并結合專業(yè)經驗和安全語料進行優(yōu)化,才能適應特定安全場景需求。張振禮將DeepSeek、GPT-4.5 等通用大模型比作安全“本科生”,通過安全指令微調和安全細分領域優(yōu)化,這些模型成長為“碩士”,經過系統(tǒng)化的構建與實際應用驗證,它們將成為“博士”或有經驗的安全專家。

接著,張振禮分享深信服 AI 安全的落地實踐。如團隊開發(fā)基于AI的安全助手,不僅改善安全管理,還優(yōu)化安全規(guī)范及日常溝通,實現從被動響應到主動審計的轉變,并推動全面自動化。此外,團隊還提供AI安全培訓體系,以增強大家的安全能力和安全技能。

談及未來,張振禮表示,從長遠來看,隨著多智能體協(xié)同技術的發(fā)展,安全行業(yè)將實現高度自動化,形成人監(jiān)督機器等的新模式,釋放更多人力資源去處理更有價值的任務。

二、AI智能體:從思考規(guī)劃到落地執(zhí)行的安全賦能之旅

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

安恒信息高級副總裁、研究院院長、騰訊云 TVP 王欣

安恒信息高級副總裁、研究院院長、騰訊云 TVP 王欣在《AI智能體:從思考規(guī)劃到落地執(zhí)行的安全賦能之旅》中談到,2025年被視為智能體元年,DeepSeek的興起極大地推動公眾對AI智能體的認知。

王欣詳細介紹安恒信息在 AI 智能體的布局和發(fā)展歷程。他表示,智能體與網絡安全體系的融合將是未來的發(fā)展趨勢,而非孤立存在。通過引入智能中臺,將數據、知識、情報及安全產品整合為Agent的一部分,實現任務的調度與執(zhí)行,來應對各類安全場景。預計在未來3-5年內,這種模式將成為面向客戶側的主要發(fā)展方向,提升整體安全效能和響應速度。

接著,王欣分享AI智能體給行業(yè)帶來的變革:第一,Agent 的引入標志著安全運營從量變到質變的過程,技術發(fā)展需要一定的周期;第二,智能體的出現使得業(yè)務專家從專才轉變?yōu)槌墏€體,通過減少輔助工程和崗位,讓專家的知識經驗成為核心,未來逐步出現一人當崗、一人多能的情況,并利用編排系統(tǒng)將個人經驗沉淀為平臺經驗,以完成更多任務。

最后,王欣回顧了過去一年對AI智能體在安全領域的八個預測,例如Agent將成為產業(yè)標配,AI native工具將成為Agent的手和腳;ASA架構將在AI智能體影響下升級等等,他指出,部分預測可能未能完全符合實際發(fā)展軌跡,并提出今年將重新審視相關趨勢,依托更嚴謹的分析框架與數據支撐體系,結合對技術演進的深度洞察,探索實現類似AI級精準預測的可能性。

三、安全大模型發(fā)展路徑洞察與實踐

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

360集團首席科學家、360數字安全集團 CTO、騰訊云TVP、CCF 杰出工程師獎獲得者 潘劍鋒

360集團首席科學家、360數字安全集團CTO、騰訊云 TVP、CCF 杰出工程師獎獲得者 潘劍鋒發(fā)表《安全大模型發(fā)展路徑洞察與實踐》的主題演講。

潘劍鋒先是討論大模型的理解能力,引入“快慢思考”概念來評估當前大模型的能力。他表示目前大模型的價值是很好地模擬人腦的“快思考”,即大模型通過海量數據訓練,做文字符號層面的統(tǒng)計處理,從數據中找出統(tǒng)計性規(guī)律,在概括的意義上掌握學習樣本所反映的隱含知識,并以此為基礎生成內容。而“慢思考”需要對事物具有本質性理解,需借助事實性知識,通過多步推理、反思,是“深思熟慮”的結晶。針對慢思考任務的場景中,當前可編排專家經驗,整合安全大模型、知識庫、工具庫的能力,實現半自主的推理Agent。

當前,國內大模型賦能安全產品主要采用兩種不同層次的方式:一是直接使用通用大模型的能力實現安全應用;二是應用安全垂直大模型。這兩種方式之間的區(qū)別就像“一個博學的人拿著醫(yī)科全書”與“主任醫(yī)師”,前者雖然能夠查到專業(yè)知識,但是不能夠貫通運用;后者是具有豐富的臨床實踐經驗。安全垂直大模型能夠將專業(yè)的安全數據真正訓練進入模型中。

潘劍鋒分享如何基于以上理論進行落地實踐,包括安全語料生產、模型分區(qū)訓練和慢思考實現方式。高質量的安全語料被視為行業(yè)的護城河,360首創(chuàng)的CoE技術架構允許不同的安全專家分區(qū)訓練各自的模型,有效減少多任務沖突、過擬合等問題,保證訓練效果同時降低資源消耗。

潘劍鋒目前基于推理時計算擴展的方法,在外延方面進行創(chuàng)新,還嘗試做本質性理解的相關工作。通過團隊的持續(xù)探索,有望進一步提升大模型在安全領域的效能與適用范圍,尋找新的發(fā)展范式。

四、安全領域大模型構建范式與實踐

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

騰訊安全副總裁、科恩實驗室負責人 吳石

騰訊安全副總裁、科恩實驗室負責人 吳石做《安全領域大模型構建范式與實踐》的主題演講。

自2018年起,科恩實驗室開始對AI+安全的研究,致力探索如何提升安全產品的智能化水平,落地相關產品,騰訊內部包含 QQ、微信在內的多個重要產品均在使用科恩實驗室AI+安全的能力。

當前在利用大模型解決實際安全問題上仍面臨一些挑戰(zhàn),主要原因在于大模型本身并不產生新的知識,對于安全領域的專業(yè)知識掌握有限,導致其輸出的實際效用不高。對此,吳石分享了科恩實驗室在這方面所開展的工作:一是建立安全語料庫,通過從多源收集數據并利用關鍵詞過濾和分列器進行初步篩選,經過一系列數據清洗步驟,最終完成數據質量評測,目前此安全語料已部分開源。二是開發(fā)針對大模型安全能力的評測體系,填補行業(yè)空白,并部分開源評測工具,顯著提升行業(yè)標準。

吳石介紹騰訊內部如何落地大模型+安全:首先通過優(yōu)化prompt提高提問質量,解決大部分基礎問題;其次,利用外掛的知識庫和數據庫增強大模型的能力,實現快速反應;還有,開發(fā)Agent來提升處理復雜任務的能力。其中,科恩實驗室自研 BinaryAI 可以模糊匹配開源庫信息識別惡意代碼,現日調用量超1億次?;赗AG的Security-X助手廣泛應用于URL處理、威脅情報檢索等場景??偟膩碚f,科恩實驗室具備三大核心能力:優(yōu)秀的安全攻防技術、全面的基礎安全大數據以及自安全算法,這些為大模型的應用提供堅實基礎,并推動通用大模型與小模型的有效結合。

吳石指出,大模型作為網絡安全領域的重要技術力量,已顯著提升了威脅檢測效率與安全防護能力,尤其在復雜場景中展現出獨特價值。然而,當前技術范式下仍需理性看待其局限性:大模型在處理低頻威脅、對抗性樣本防御及實時決策場景中仍存在性能瓶頸。他強調,安全工作的核心仍需回歸對抗本質——通過構建高保真威脅情報體系與攻擊成本動態(tài)評估機制,迫使攻擊者在技術、資源與時間維度付出更高代價。

五、大模型的安全價值對齊

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

北京大學人工智能研究院助理教授、人工智能安全與治理中心執(zhí)行主任、CCF 計算經濟學組執(zhí)行委員 楊耀東

在下午的論壇上,北京大學人工智能研究院助理教授、人工智能安全與治理中心執(zhí)行主任 楊耀東發(fā)表《大模型的安全價值對齊》的主題演講。

楊耀東從 ChatGPT 時代“Delve”一詞被頻繁使用開始講起,提出現實中如何確保強大的大模型符合人們的價值觀和意圖,即大模型的安全價值對齊問題。當前的大模型對齊工作主要以強化學習為主,包括預訓練、學習人類反饋以及強化學習人類反饋。

針對大模型能不能被對齊的問題,楊耀東表示,大模型有非常強的抗拒對齊的表現,大規(guī)模預訓練已經讓模型參數空間緊繃,進一步調整可能會導致性能下降或崩潰。楊耀東認為,大語言模型挺難被被對齊,但可以嘗試讓大模型變得更加安全。如在事前做Moderation,通過數據標記有害內容,增強模型魯棒性;事中可以利用數據進一步做安全對齊,采用MAX MIN方法優(yōu)化獎勵與有害性平衡;事后引入后置對齊器修正答案,提升模型安全性。這樣一來,在某種程度可以緩解模型的安全問題,但不能完全解決模型的安全問題。

面對多模態(tài)挑戰(zhàn),楊耀東團隊嘗試通過語言反饋合成偏好來解決不同模態(tài)間的對齊難題。此外,面對具身智能大模型對齊的問題,尤其是在將大模型應用于物理世界時,如何保證其行為安全成為關鍵問題。為此,需要構建一個可驗證的安全框架,結合傳統(tǒng)控制論的方法,確保機器人和其他智能體在與現實世界的互動中遵循安全規(guī)范。目前,楊耀東團隊開展初期工作,如Safe VLA項目,通過明確的安全約束確保機器人在與物理世界交互時的安全性,已在仿真環(huán)境中取得積極成果。最后,楊耀東指出,面對具身智能模型的對齊問題,應從以人類反饋為基準的后訓練對齊思路轉向到構建事前可驗證的 100% 價值安全體系,為未來智能無人系統(tǒng)與物理世界的安全交互奠定基礎。

六、AI系統(tǒng)的安全風險和挑戰(zhàn)

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

Certik 首席安全官、騰訊云TVP李康

Certik 首席安全官、騰訊云TVP李康在《AI系統(tǒng)的安全風險和挑戰(zhàn)》的主題演講中,談到目前AI安全討論通常集中在抽象層面(如AI對人類社會的威脅)和算法層面,但忽略系統(tǒng)安全層面的重要性和緊迫性,如今,AI智能體的普及帶來新的安全挑戰(zhàn),這些智能體帶有執(zhí)行環(huán)境,允許代碼執(zhí)行,這為攻擊者提供機會。李康舉例如何利用傳統(tǒng)安全手段攻擊AI智能體,通過簡單的手段如命令注入、越權訪問等,可輕易地對AI智能體進行攻擊。

“攻擊者并不一定針對AI的偏見或利用Prompt和幻覺進行攻擊智能體,而是尋找有價值的目標,并用最簡單的方式達成目的,當前AI的安全監(jiān)管和檢測尚未充分考慮這一點,未來需關注具體事件的爆發(fā)以應對這些潛在威脅。”李康提醒說。

隨后,李康進一步分析物理世界中的AI Agent同樣面臨安全風險,闡述AI系統(tǒng)在現實世界中的安全隱患。李康表示,AI Agent 為安全研究帶來機會與責任,既讓我們重新審視和應用過去的安全手段進行防護,同時也要求我們在發(fā)現攻擊路徑和方法上進行創(chuàng)新,尤其是在面對真實場景時,不依賴傳統(tǒng)的直接互動方式。

李康提醒道,AI 的普及不僅帶來技術平權,也引入新的安全風險,希望安全從業(yè)者獲得更多話語權和重視,尤其是在監(jiān)管層面應更加關注底層安全問題。最后,李康呼吁更多人參與到AI安全的研究和實踐中來。

七、AI模型的安全性分析與理解

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

中國科學院信息工程研究所主任、騰訊云 TVP、CCF 安全專委和系統(tǒng)軟件常委、CCF-IEEE CS青年科學家獎獲得者 陳愷

中國科學院信息工程研究所主任、騰訊云TVP、CCF 安全專委和系統(tǒng)軟件常委、CCF-IEEE CS青年科學家獎獲得者 陳愷在《AI模型的安全性分析與理解》的報告中,展示AI模型安全性方面的多項研究成果,強調提升AI模型安全性的必要性。

陳愷的研究方向有人工智能賦能安全攻防(AI for Security)和人工智能技術本身的安全(Security for AI)。團隊在2017、2018 年開始做模型對抗攻擊的研究,如通過添加噪點誤導分類模型識別物體,隨后擴展到針對物理世界的研究,如讓自動駕駛車輛誤識路標或雷達系統(tǒng)忽視前方障礙物。

對此,陳愷團隊探索了一些防御方法,包括使用自編碼器自動過濾對抗補丁和自研“神經網絡手術刀”技術。神經網絡手術刀通過精確修復導致錯誤的小部分神經元,從而避免大規(guī)模調整模型帶來的負面影響。此外,陳愷團隊提出一種新的映射方法,通過利用模型后門將輸入樣本映射到不同的類別來抵御對抗樣本攻擊,由此降低攻擊成功率并保持模型性能。

當前,針對大模型的安全性挑戰(zhàn)層出不窮,例如越獄攻擊,即通過特定提示詞使模型輸出有害的信息。對此,我們正在探索從模型分析角度入手解決此類問題。會上,陳愷討論當前流行的可解釋性工具存在的局限性及其改進方向,強調開發(fā)更有效的模型解釋工具的重要性。

八、大模型應用落地的安全風險與防護實踐

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

火山引擎大模型應用防火墻產品負責人 鄭炎亭

火山引擎大模型應用防火墻產品負責人 鄭炎亭在《大模型應用落地的安全風險與防護實踐》的分享中,探討大模型應用在各行各業(yè)落地過程中面臨的安全風險及相應的防護實踐。

鄭炎亭觀察到,過去,不同行業(yè)在引入新技術時注重快速驗證和部署,安全往往被視為次要考慮因素。隨著DeepSeek等工具的普及,AI技術的成本降低、門檻變低,越來越多的企業(yè)開始重視AI應用的安全性,特別是在生產環(huán)境暴露面增大后帶來的潛在威脅。

當前的安全挑戰(zhàn)不僅包括傳統(tǒng)的DDoS攻擊、薅羊毛濫用等,還涉及大模型特有的風險,如提示詞注入、模型幻覺等問題。以提示詞注入為例,通過簡單的拼接即可實現對模型的操控,使得攻擊成本大幅降低,這對企業(yè)的數據安全構成嚴重威脅。

為應對這些挑戰(zhàn),鄭炎亭提出一些實踐思路:一是對提示詞過濾與監(jiān)控,對輸入輸出實施嚴格過濾,減少惡意利用的可能性。二是對運行環(huán)境做安全保障,使用加密技術和機密計算來保護敏感信息處理過程中的安全性。三是模型安全性測評,測試模型識別并拒絕執(zhí)行惡意代碼或生成有害內容。

鄭炎亭談到大模型的幻覺問題確實不易解決。大模型幻覺分為事實性幻覺和忠實性幻覺。對于不同的幻覺應設計不同的應對方案,鄭炎亭介紹幾種在推理端處理幻覺問題的方法,強調在推理端更具性價比且更可控。

九、AIGC內容安全治理趨勢與實踐

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

中國科學院計算技術研究所實驗室主任、中科睿鑒創(chuàng)始人、騰訊云 TVP、曹娟

中國科學院計算技術研究所實驗室主任、中科睿鑒創(chuàng)始人、騰訊云TVP曹娟發(fā)表《AIGC內容安全治理趨勢與實踐》的主題演講。

曹娟首先介紹為什么大模型時代的鑒偽如此重要,一是 AI 生成的數據越來越多,二是大模型已開始在各行各業(yè)落地應用,因此鑒偽也會覆蓋各各業(yè),三是國家層陸續(xù)推出多個法律法規(guī),從模型層、應用層、數據層對 AI 生成做規(guī)范。然而當鑒偽工作真正落地時,由于各行業(yè)差別巨大,因此她建議每個行業(yè)指定自己的標準,如科技部禁止AI生成申報書,教育部禁止AI生成論文和配圖等等。曹娟強調,這里需要產業(yè)界同心努力,盡快制定各自行業(yè)的標準,才能推動產業(yè)的發(fā)展。

曹娟表示,如今,中國人工智能安全治理已進入立法和執(zhí)法的深水區(qū)。據Gartner預測,到2028年,50%的企業(yè)將開始采用專門為解決虛假信息安全用例而設計的產品、服務或功能,目前這一比例還不到5%。目前,曹娟團隊聚焦核心技術攻關,針對云端和終端均打造前沿鑒偽產品,來提升數字內容的安全性和可信度。

談及未來AIGC內容安全治理的發(fā)展,曹娟闡述遇到的難點,如大模型的泛化,場景泛化等,美顏圖片和造假圖片是相同的技術,如何識別無害篡改和有害照片是非常難的。還有手機視頻,針對錄屏、截屏做到技術鑒偽等。

曹娟提醒道,AIGC 發(fā)展日新月異,未來互聯網可能是真相衰落的時代。他們按自動駕駛將大模型分為L0到L5級,從全人工潤色重寫續(xù)寫到全自動自主分不同的等級做了實驗,發(fā)現到L3級后,大平臺的推薦系統(tǒng)更傾向于推薦生成的內容,而不是人類產生的內容。他們將AIGC生產的內容給人看,80% 的人更愿意看生成的內容。未來互聯網的模式將會發(fā)生翻天覆地的改變,她建議現在將人類生產的數據保護起來,如打標簽保存等。

十、分組腦暴促交流,觀點PK啟新思

除了以上干貨滿滿的主題演講外,論壇注重交流和分享,特別設置分組討論熱點話題,觀點PK環(huán)節(jié),促進大家的思想交流,共同探索 AI 與安全共生發(fā)展的新模式。

在這一環(huán)節(jié)中,數十位專家被分為不同的小組,先是三個小組圍繞主持人提出的熱點問題展開討論,由小組代表進行總結發(fā)言,分享討論成果。

討論問題:大模型時代,安全行業(yè)往何處去

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

第一組代表騰訊云安全云鼎實驗室總監(jiān)、云安全技術專家謝飛表示,對于企業(yè)最擔心的安全運營問題,他有一個深刻的感觸:盡管 AI 能協(xié)助做告警分析,但其準確率和可信度還不夠好。舉例說如果依靠 AI 進行夜間無人值守,我們會擔心 AI 的準確率問題,擔心可能會錯過真正的威脅,導致嚴重后果。AI對安全風險的研判準確率和權責問題,才是企業(yè)面臨的痛點問題。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

騰訊云安全云鼎實驗室總監(jiān)、云安全技術專家 謝飛

第二組代表安恒信息首席安全官&高級副總裁、騰訊云 TVP 袁明坤表示,不同企業(yè)對于人工智能在安全領域的應用需求各不相同。袁明坤通過鐵匠師傅與徒弟的比喻,形象地描述人類專家像一位鐵匠師傅,AI 像一位徒弟,人類如何指導和利用 AI 工具來提升工作效率和競爭力,打造出來的東西才更有競爭力。在細分行業(yè)中,關鍵在于找到行之有效的方法讓 AI 發(fā)揮最大效能。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

安恒信息首席安全官&高級副總裁、騰訊云 TVP 袁明坤

第三組代表煉石網絡創(chuàng)始人&CEO、騰訊云 TVP 白小勇表示,對于第一個問題我們認為最迫切需要 AI 輔助的是D、F、H(調查閉環(huán)、數據分類分級以及編寫報告)。企業(yè)在提升網絡安全工作中,首先應評估哪些環(huán)節(jié)消耗大量的人工和成本,并選擇合適的大模型來實現增效降本。而對于前三個和告警相關的選項,我們選擇了B(告警輔助研判)。此外,我們認為文檔撰寫也是企業(yè)的一個迫切需求,占比應該超過50%。

針對第二個問題,我們最擔心的是B(AIGC產生的內容的安全問題)。因為它可能導致一些嚴重問題,如生成內容涉及政治敏感信息等紅線問題。A(數據安全與個人隱私保護問題)和C(提示詞注入攻擊與大模型越獄問題)之間我們存在分歧:A被視為更嚴重的不可逆轉結果,而C是可恢復的過程。綜合考慮,我們認為 B 是最擔心的安全問題。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

煉石網絡創(chuàng)始人&CEO、騰訊云 TVP 白小勇

接下來,由四個小組進行辯論賽,分別從正反兩方的角度來PK討論熱點話題,激發(fā)思維碰撞?,F場討論氣氛濃厚,專家們你來我往,在交鋒中深入探討 AI 安全的未來,啟發(fā)更多的深刻思考與全新見解,碰撞別樣的思維火花。

辯題一:安全大模型應選擇通用基座微調還是垂直領域原生訓練?

支持通用基座的代表鴻雪科技 CTO、騰訊云TVP 孫杰提出小組的六點觀點:第一,通用模型基座作為一種資源約束下的最優(yōu)解,通過以20%的成本滿足80%的需求,兼顧經濟與技術的可行性,具備高效資源利用率和快速迭代能力,通用基??梢詽M足大部分的需求。第二,可以快速適應企業(yè)里面大多數任務。第三,通用基模泛化能力強,可以泛化到企業(yè)70-80%的場景。 第四,通用基模便于知識遷移,通過大模型的知識蒸餾為專業(yè)領域提供支持,為垂類模型提供能力幫助。第五,具備動態(tài)進化和安全免疫能力,能在不斷變化的環(huán)境中自我進化,對抗樣本攻擊時表現出更強的魯棒性。第六,通用基模在泛化能力和微調之間提供最佳平衡。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

鴻雪科技 CTO、騰訊云TVP 孫杰

支持垂直領域原生訓練的代表,北京知其安科技有限公司CEO 郭威表示,做方向性決策,應該按照終局思維,即最終期望的效果來分析。既然微調有諸多已知且天然無法解決的問題,毫無疑問應該選擇基于原生的垂直領域訓練。垂域模型解決安全問題的優(yōu)勢有:第一,專業(yè)語料構成的認知壁壘。模型從誕生起就基于安全語料,有效避免通用大模型常見的幻覺問題,這就如同博士生與高中生的差別。第二,架構靈活性與適配優(yōu)勢。更靈活,可以用更少的參數,更靈活的軟硬件架構,能讓用戶自行開展模型治理,如數據對齊、解決污染問題。第三,數據主權可控性。特殊行業(yè)如軍工等涉及敏感數據,無法使用通用大模型進行訓練。第四,場景化成本優(yōu)勢。垂直領域模型所需的參數遠少于通用大模型,例如工廠的缺陷檢測場景,用到的yolo算法可以完全基于CPU運行,讓訓練、使用成本都更低。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

北京知其安科技有限公司CEO郭威

辨題二:隱私敏感場景下,是否應全面禁止大模型處理原始數據?

支持全面禁止的代表霧幟智能 CTO、騰訊云TVP 傅奎直接表示,不可控、不可逆和不接受,不能讓大模型直接處理敏感數據。第一,隨著技術的發(fā)展,個人隱私幾乎不復存在。第二,技術永遠存在局限性,即使是知名大模型廠商也曾出現信息泄露事件,這說明當前技術無法完全保障敏感數據的安全。第三,從倫理道德來看,個人敏感信息的泄露可能導致嚴重的社會后果。最后,傅奎指出在隱私敏感場景下有替代方案可供選擇,直接讓大模型處理原始數據風險極高,我們必須捍衛(wèi)人類的隱私權。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

霧幟智能 CTO、騰訊云TVP 傅奎

支持優(yōu)先放開的代表天融信科技集團專家 彭禎方則認為,隨著DeepSeek的橫空出世,國家已發(fā)文鼓勵各行業(yè)利用大模型,前提是需使用原始、隱私及業(yè)務數據。其次,我們對大模型的擔心,可能源于其初期對安全措施不到位,但有了AI防火墻等新技術提供的安全保障,我們可以放心使用大模型。第三,根據數字安全法,只要獲得用戶同意,隱私數據即可被合法使用。第四,借助鑒偽技術,隱私數據泄露的風險進一步降低。最后,如果我們不敢使用原始數據,大模型如何賦能千行百業(yè)呢?因此,大家可以放心地將隱私數據用于大模型。

騰訊云TVP AI與安全高峰論壇圓滿落幕,共探大模型時代的安全破局之道

天融信科技集團專家 彭禎方

結語

在「大模型時代:安全如何洗牌」TVP AI與安全高峰論壇上,嘉賓們深入解析AI與安全融合的機遇、挑戰(zhàn)與未來發(fā)展方向,分享一線實踐經驗、研究成果與真知灼見,為與會者帶來深刻的啟發(fā)與實踐指導。

本次論壇聚焦大模型時代下AI與安全的熱點話題,形式多元,通過這次技術盛會,我們凝聚行業(yè)智慧,共同為構建更加智能、安全的數字世界出謀劃策。

騰訊云TVP

TVP,即騰訊云最具價值專家(Tencent Cloud Valuable Professional),是騰訊云授予云計算領域技術專家的一個獎項。TVP 致力打造與行業(yè)技術專家的交流平臺,促進騰訊云與技術專家和用戶之間的有效溝通,從而構建云計算技術生態(tài),實現“用科技影響世界”的美好愿景。

中國計算機學會(CCF)

中國計算機學會(CCF)成立于1962年,全國性學會,獨立社團法人,中國科學技術協(xié)會成員,秉承會員構成、會員治理和會員享有的理念。CCF每年舉辦千余場/次各種規(guī)模、層次的學術會議、產業(yè)與技術論壇和培訓,開展評獎、競賽、認證、科學普及、計算機術語審定等系列活動。

2017年5月,CCF針對企業(yè)一線工程師對技術的強烈需求,創(chuàng)辦了TF技術前線。CCF TF創(chuàng)始委員由Intel、LinkedIn、Microsoft、愛奇藝、百度、滴滴、方正、瓜子、華為、京東、鏈家網、聯想、螞蟻金服、美團點評、摩拜、360集團、搜狗、曙光、騰訊、網易、微博、小米、攜程、新浪、中興等25家知名企業(yè)的技術團隊負責人擔任。目前組建了架構、安全、智能前端、知識圖譜、數據科學、工程師文化、算法與AI、智能制造、智能設備與交互、數字化轉型與企業(yè)架構、研發(fā)效能、質量工程等12個SIG(Special Interest Group) 。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )