雲南頻道 > 新聞 > 正文
2025 09/16 18:10:29
來源:新華網

AI大模型的安全如何?500+白帽實網眾測答案揭曉

字體:

活動現場(9月16日攝)。新華網發(供圖)

  9月16日,針對AI大模型的實網眾測檢驗結果在第22屆中國網絡安全年會(暨國家網絡安全宣傳周網絡安全協同防禦分論壇)重磅揭曉。活動共動員559名白帽子,對國內15款大模型及應用産品進行了漏洞測試。

  據了解,本次活動共對10家AI廠商的15款大模型及應用産品進行測試。測試産品中既有基礎大模型産品,也有垂域大模型産品,還有智能體、模型開發平台等相關應用産品,其中既包含單模態大模型,也涵蓋多模態大模型,具有較廣泛的代表性。

  在參與測試的主流大模型産品中,騰訊公司混元大模型、百度公司文心一言、阿里巴巴通義APP、智譜華章公司智譜清言等發現的漏洞風險較少,體現了較高的安全防護水平。

  活動測試對象主要是實時在線運行的AI大模型及應用産品,其通過多種渠道動員了559名白帽子參與測試,涵蓋網安企業專業人才、科研院校師生以及社會白帽子。他們從外部攻擊者的視角,對大模型進行了多維度實戰化測試,取得了豐富的測試成果,涌現出梁宏宇、馬寶新、劉銘等一批表現突出的優秀白帽子。在産品廠商的防護下,各位白帽子能夠挖掘出高危甚至嚴重等級的漏洞。

  本次活動發現的典型漏洞風險包括:一是部分産品存在不當輸出類漏洞且危害嚴重;二是信息洩露類漏洞多發,存在較大安全隱患;三是提示注入類漏洞普遍,是大模型最常見漏洞風險;四是部分大模型産品針對無限制消耗類攻擊的防護措施有待加強;五是傳統安全漏洞依然普遍存在,危害不容忽視。鋻於AI大模型産品普遍用戶量大、使用率高,若上述漏洞被惡意攻擊者利用,將對國內AI大模型産品生態造成較嚴重的影響。

  活動累計發現各類安全漏洞281個,其中大模型特有漏洞177個,佔比超過60%。這一數據表明,當前AI大模型産品面臨着大量傳統安全領域之外的新興安全風險。

  隨着AI應用場景的不斷擴展,新的漏洞和攻擊手法將不斷涌現,AI大模型安全治理工作任重道遠,亟需各方共同努力。一是針對大模型面臨的各類漏洞風險,需持續加強安全防護措施。二是加快制定AI漏洞分類分級標準,並按應用場景劃分風險等級。三是通過眾測模式廣泛匯聚社會白帽力量,構築AI共治生態。四是加強內生安全治理,將安全融入到AI系統全生命周期,從源頭築牢安全基石。

  本次活動由中央網信辦網絡安全協調局指導,國家計算機網絡應急技術處理協調中心主辦,網絡安全眾測平台、國家網絡安全人才與創新基地提供技術和環境支持,旨在以高質量安全護航人工智能在經濟社會各領域的高質量發展。(新華網 范芳鈺)

【糾錯】 【責任編輯:劉東】