自動感知環境 不受人工干預 攻擊形式多樣——“AI+”時代網絡安全挑戰升級,如何構建有效新防線?-新華網
新華網 > > 正文
2025 11/28 09:00:46
來源:新華網

自動感知環境 不受人工干預 攻擊形式多樣——“AI+”時代網絡安全挑戰升級,如何構建有效新防線?

字體:

  新華社北京11月27日電  11月27日,《新華每日電訊》發表題為《自動感知環境 不受人工干預 攻擊形式多樣——“AI+”時代網絡安全挑戰升級,如何構建有效新防線?》的報道。

  2025年以來,人工智能(AI)技術實現顯著突破——大模型訓練成本不斷降低,應用方式從生成式AI向智能體化AI快速演進。隨着技術不斷發展,AI正賦能各行各業,引領人們進入“AI+”時代。然而,AI的“雙刃劍”效應也愈發明顯:AI濫用風險態勢嚴峻,深度偽造技術以假亂真,利用AI實施網絡攻擊趨勢抬頭……

  人工智能作為引領新一輪科技革命和産業革命的戰略性技術,深刻改變人類生産、生活方式,但在引領生産力革命性躍遷和生産關係深層次變革的同時,也給網絡安全帶來了新的威脅和挑戰。如何準確應對“AI+”時代的網絡威脅?強化風險感知和預警能力,“用AI對抗AI”,成為擺在人類面前的新課題。

生成式AI濫用,“李鬼”風險不斷

  “這是人工合成的假視頻,講話聲音是我,但內容不是我的。”10月11日,在江西南昌一場國際學術年會上,中國工程院院士、天津中醫藥大學名譽校長張伯禮在作報告時幽默地説:“凡是‘捎貨’(帶貨)的肯定不是我!”

  會議上,張伯禮院士提醒大家對一些短視頻注意鑒別。原來,今年網絡平台上出現了多個關於“張伯禮”帶貨某美白護膚品的短視頻。實際上,這些都是經由AI製作的。這些合成視頻使用張伯禮院士的形象和聲音,達到以假亂真的效果。

  新的技術應用發展的同時,運用網絡、信息技術侵害肖像權、名譽權等人格權的情形也經常出現。今年6月,最高人民法院發布的6起濫用信息技術侵犯人格權案例中,不乏未經許可AI化使用他人聲音、擅用他人肖像供用戶“換臉”等。

  國家計算機病毒應急處理中心高級工程師杜振華告訴記者,2023年以來,隨着生成式AI的普及和規模化應用,其強大的內容生産和模仿能力在推動創新的同時,也催生了深度偽造、算法偏見等風險。

  公安部網安局今年9月披露的打擊整治網絡違法犯罪典型案例中,涉及多起利用AI工具編造謠言、網絡暴力、開盒網暴、侵犯公民個人信息等案件。包括“樺加沙”颱風逼近廣東沿海地區,社交平台上出現多張所謂“深交所門前牛雕塑被拴”“車輛被五花大綁”圖片,均被證實係AI合成;河南發生區域性暴雨天氣期間,多個賬號發布的內容也實為用AI技術拼湊、剪輯生成的虛假視頻。

  “金融行業中,一些機構的身份驗證被AI換臉攻破。今年6月,不少高校也要求畢業論文必須進行AI檢測。”中國科學院計算技術研究所前瞻研究實驗室主任曹娟説,大模型普及之後,他們發現很多行業都需要鑒偽。

AI化身智能體,自主進攻難捉摸

  今年年初,“2025年哈爾濱第九屆亞冬會”遭受境外網絡攻擊事件引發廣泛關注。國家計算機病毒應急處理中心等有關技術團隊持續攻堅,成功追查到美國國家安全局(NSA)的3名特工和兩所美國高校,參與實施了針對亞冬會的網絡攻擊活動。研究發現,此次攻擊利用了AI智能體進行工具方案規劃、漏洞探尋和流量監測等工作,部分代碼明顯由AI書寫,可以在攻擊過程中自動、快速編寫動態代碼實施攻擊。

  所謂智能體化AI,是指具備自主決策能力的人工智能系統。AI智能體一旦被用於網絡攻擊,其自主性、隨機性將大大提升網絡安防的難度。

  “不久前,境外網絡公司披露一個已知的AI勒索軟體,該勒索軟體使用OpenAI公司的開源大模型生成惡意勒索程序,利用AI技術可以自主決定搜索或加密哪些文件。”公安部有關負責人在9月底召開的第三屆網絡空間安全(天津)論壇上介紹。

  中興通訊股份有限公司副總裁王繼剛&&,智能體是未來AI應用的重要方式。“智能體會自動感知接觸到的環境,並在運行過程中不受人工干預,能以目標為導向。”他認為,智能體攻擊的形式多種多樣,其大規模應用帶來的總攻擊面會更大,影響也更複雜。

  目前,網絡上已出現多款輔助網絡攻擊的大模型工具,一些網絡“黑産”工具也正積極接入AI。國家計算機病毒應急處理中心聯合其他權威機構發布的《網絡空間安全態勢分析報告(2025)》指出,相較去年,今年發生的AI相關網絡與數據安全事件與風險顯著增加。

  不過,在專家看來,當前AI強大的數據處理、模式識別和自動化的能力,也能為網絡安全提供新的解決方案和防禦策略,AI智能體的融入將使網絡安全防禦從被動響應向主動預測和自動防禦轉變,AI網絡攻防對抗態勢或將進入“智能體驅動”的新階段。也有觀點認為,未來的網絡安全之戰可能會演變為“AI之間的對抗”。

  在安恒信息技術股份有限公司董事長范淵看來,AI智能體能快速生成動態倣真系統,結合AI的自動化編程、數據生成等,AI可以實時根據攻擊行為,預測攻擊者下一個相關的動作,從而生成對應的預防策略。

技術風險管控,亟待多方協同

  在不少業內人士看來,現在不應再探討AI是不是有危害,而是到了研究怎樣讓AI健康發展的階段,發展安全可控的AI,重構網絡安全治理體系是一項系統性工作,需要治理制度、技術創新、産業生態等協同推進。

  “AI安全風險源於AI向‘超人’化演進。解決AI‘超人’問題,關鍵是管好‘框、數、人、鏈’四個環節,把AI嵌在安全體系裏,把體系落在場景中,重塑適配時代需求、業務場景的內生安全體系,增強數智系統的內在免疫力。”奇安信科技集團董事長齊向東説。

  為此,中國不斷延伸AI領域治理鏈條。今年9月1日,《人工智能生成合成內容標識辦法》及配套強制性國家標準《網絡安全技術 人工智能生成合成內容標識方法》正式生效,明確要求所有傳播的AI生成內容必須添加顯式或隱式標識,AI生成內容強制亮明“數字身份證”。業內認為,這意味着中國在內容安全治理上邁出關鍵一步。

  與此同時,近年來,中國公安機關作為維護網絡安全的重要力量,持續開展多個專項行動,有效應對一系列網絡安全風險與挑戰。

  國際刑警組織網絡犯罪局局長尼爾·傑頓説,網絡犯罪在全球是一個嚴重的問題,全球網絡犯罪經濟規模已超10.5萬億美元。在今年針對惡意軟體的“安全亞洲”活動中,國際刑警組織和中國緊密合作,關閉了20000多個惡意IP,查獲了100GB的數據。“成功的網絡安全行動根基在於合作。”他説,未來將綜合運用AI等新技術進行跨國打擊行動。

  “網絡安全威脅沒有國界,任何一個國家發現的漏洞都可能在幾分鐘之內波及其他國家。構築網絡安全不能各自為政。”尼日利亞國家信息技術發展局局長卡希夫·伊努瓦·阿卜杜拉希説,“區域和全球合作是必經之路。”

  清華大學公共管理學院教授、人工智能國際治理研究院副院長梁正建議,在“AI+”時代,要通過國際合作推動能力建設、風險共管和規則標準互認,同時探索針對特定議題的小切口治理合作,攜手構建包容普惠的全球AI治理體系。

【糾錯】 【責任編輯:陳聽雨】