AI倫理觀察|從“截洪流”到“堵水源”:AI生成謠言的治理升級-新華網
新華網 > > 正文
2025 08/06 15:20:51
來源:新華網

AI倫理觀察|從“截洪流”到“堵水源”:AI生成謠言的治理升級

字體:

  上半年,某歌手因感染新冠病毒而推遲演唱會。然而幾天后,有關其去世的消息在社交媒體上傳播開來,讓無數網友陷入擔憂與不安之中。隨後有相關人士緊急將其辟謠為“假新聞”,才將這一風波平息。據了解,該謠言的源頭是一海外社交賬號上發布的一則長達9分27秒的視頻。視頻通過AI合成粵語配音,將其往年演唱會片段與偽造的“官方聲明”拼接,一場普通的演唱會延期事件便被扭曲成了生死悲劇。“人在家中坐,謠從AI來”。

  隨着人工智能技術在文本生成、圖片創作、視頻合成等領域的廣泛應用,AI生成謠言早已不再是單一信息的複製或再現,而是實現了多重信息的選擇、重組與再創造。從“合成事實”到“偽造輿論”,AI謠言內容呈現出更高的逼真度以及更為複雜的情感色彩,常常“以假亂真”。中國互聯網聯合辟謠&&對今年2月網絡謠言的梳理分析顯示,當月網絡謠言主要集中在利用AI技術生成虛假信息、杜撰災害事故信息以及炒作社會民生熱點等方面,混淆視聽、誤導認知,造成不良影響。可以説,AI技術驅動下的信息流變動,不僅挑戰了傳統的信息真偽檢證機制,也對人工智能時代社會公共信任構建提出了新的要求。在這樣的背景下,深入探究AI謠言問題,不僅是維護清朗網絡空間、保障公眾合法權益的現實需求,更是理解智能技術與社會關係、構建合理信息倫理秩序的重要課題。

  一、AI謠言的全新表徵

  隨着人工智能技術日新月異,網絡謠言變得愈發難以辨別。一般來看,網絡謠言指的是通過網絡介質,如社交&&等傳播沒有事實依據且帶有虛假性、攻擊性、目的性的話語。人工智能生成謠言逐漸形成一種新的網絡威脅。清華大學新聞與傳播學院2024年發布的研究報告顯示,得益於政府相關部門對網絡謠言的積極治理,2023年以來,網絡謠言整體態勢平穩,傳統謠言數量明顯下降,但伴隨AIGC技術的高速發展,一些造謠者不當利用AI工具,使得AI謠言信息量增長達到65%。與傳統的網絡謠言相比,人工智能的介入顯著地改變了信息傳播景觀,賦予AI謠言諸多前所未有的新表現、新變化、新特點。

  (一)謠言形態:從“單模態拼接”到“跨模態原生”

  傳統謠言的炮製多依賴單模態拼接手段,造謠者往往在網絡各個角落蒐羅碎片化信息,通過斷章取義、張冠李戴的方式,將不同來源的文字、圖片生硬拼湊在一起。在過往的食品安全謠言中,造謠者可能會截取某食品企業生産車間的局部畫面,配上其他企業食品質量問題的報道文字,再編造食用後産生不良後果的誇張情節。這種“單模態拼接式”的謠言由於素材來源繁雜,拼接痕跡明顯,公眾只要稍加留意其邏輯連貫性、出處可信度等細節,便不難發現破綻。

  與之相比,生成式人工智能的介入使AI謠言實現了多模態融合的“原生式生成”。通過對海量數據進行分析,AI算法能夠精準把握事物的特徵和規律,進而根據用戶輸入的簡單指令生成極具真實感的內容。在圖像生成領域,像Midjourney這樣的主流模型,經過數十億參數訓練,能夠精準模擬物理世界的各種元素,讓缺乏專業辨別能力的普通公眾信以為真;在語音生成領域,基於聲紋特徵學習的TTS技術能夠精準捕捉目標人物的語調起伏、呼吸節奏甚至情緒波動細節,完美模擬出名人、專家、朋友的聲音,製作出以假亂真的音頻;在此基礎上,視頻理解與生成算法實現了圖像與音頻完美結合,通過時空注意力機制實現唇形動態、微表情變化與語義內容的毫秒級匹配,從而生成高度逼真的視頻片段。這種依託AI技術的原生式謠言從內容到形式都是全新構建,相較於傳統謠言更加逼真、連貫,突破公眾的傳統感知界限,僅憑直觀感受很難辨別真偽,對社會輿論的誤導性更強。

  (二)謠言生産:從“人工手搓”到“一鍵生成”

  傳統謠言生産模式高度依賴人工操作,造謠者需耗費大量時間精力完成素材蒐集、內容編撰與傳播擴散等全流程工作。受限於個人知識儲備、信息獲取能力及時間成本,其生産效率低下,且內容質量參差不齊,傳播範圍往往較為有限。然而,人工智能的高效性、自動化特點極大地降低了謠言生産的技術門檻和經濟成本。過去需專業知識與技能支撐的複雜信息製作流程,如今借助AIGC工具即可簡化為從指令輸入到內容生成的簡便操作。用戶僅需掌握簡單的AI工具使用方法,輸入特定關鍵詞或指令,便能自動抓取網絡信息,快速生成結構完整、邏輯自洽的謠言。

  與此同時,通過自動化腳本與多線程技術的配合,AI可以同時處理多個任務,實現謠言的大規模、高效率生産。2024年6月,公安機關查處的江西南昌某MCN機構便是一個具有代表性的例子。該機構構建了一條全自動謠言“生産線”:負責人王某某首先從國內某熱點預測網站獲取潛在關鍵詞,由此生成文章標題;隨後通過語音交互型 AI工具,輸入關鍵詞抓取網絡信息,生成數百至千字文本,並匹配上看似相關的虛假圖片,形成信息豐富卻完全虛構的內容;最終借助自動化發布軟體,將AI生成謠言批量上傳至多&&賬號對外發布。據查證,該機構將虛假信息生産産業化,最高峰時單日可生成4000至7000篇謠言,通過流量變現與輿論操控每日非法牟利超萬元,對公共信息秩序造成嚴重破壞。

  (三)謠言傳播:從人際、群體傳播到算法自動推薦

  傳統的謠言傳播主要依賴於人際關係和少數媒體渠道,傳播範圍相對有限,傳播速度也較為緩慢。而在人工智能時代,互聯網的普及和社交媒體的興起為信息傳播提供了廣闊的&&和便捷的渠道。AI謠言借助網絡水軍的推波助瀾以及算法推薦機制的放大作用,能夠在極短的時間內實現廣泛傳播,迅速擴散到社會的各個角落。

  一方面,網絡水軍在AI謠言的擴散過程中扮演着關鍵角色。網絡水軍通常是指受雇於某些組織或個人而在網絡上有組織地發布特定信息,以達到影響輿論、引導公眾認知等目的的群體。在AI謠言傳播場景中,他們利用掌握的大量網絡賬號,通過自動化的發布工具,將AI生成的謠言迅速發布到各大社交媒體&&、論壇、新聞網站等網絡空間。同時,通過相互點讚、評論、轉發等方式,營造出謠言受到廣泛關注和討論的假象,吸引更多普通網民的參與和關注,從而加速謠言的傳播速度。

  另一方面,社交媒體&&和搜索引擎的算法推薦機制也在很大程度上助推了AI謠言的傳播。算法推薦機制的核心在於根據興趣偏好、瀏覽歷史、社交關係等數據,為用戶精準推送其可能感興趣的內容。然而,推薦系統本質上是爭議性內容的放大器,它將用戶注意力聚焦於衝突點,卻忽視了信息的真實性驗證。例如,一些關於名人隱私、社會熱點事件的 AI 謠言,由於其話題性強,能夠吸引大量用戶的點擊和互動,算法會將其視為“優質內容”不斷推送給更多用戶,使謠言的傳播範圍不斷擴大。在這樣的情況下,辟謠信息往往因缺乏爭議性而難以獲得同等流量支持,加劇“造謠一張嘴,辟謠跑斷腿”的治理困境。

  二、AI謠言的治理困境

  AI 謠言所呈現的“跨模態原生”形態、“工業化生産”模式與“算法化傳播”路徑,不僅突破了傳統謠言的傳播邊界,更對既有公共信息治理體系構成了嚴峻挑戰。其中,技術的複雜性、傳播的高效性與主體的多元性相互交織,使得治理工作面臨多重難題,需要從技術、制度、協作與認知層面進行系統剖析。

  (一)技術困境:低質量數據造成嚴重的AI幻覺

  AI幻覺指的是人工智能系統,特別是大型語言模型(LLM)和生成式AI工具,在運行過程中産生看似合理但實際上並不準確、不真實或完全虛構的信息現象。這種現象並非AI系統故意欺騙或開玩笑,而是其內部機制在特定條件下的産物,類似於人類在特定情境下産生的幻覺感知。例如,AI可能會編造不存在的書籍、研究報告、法律條文,或者提供錯誤的歷史日期、地理信息、科學數據等。在圖像生成領域,AI繪畫工具可能會生成手指數目異常或肢體不全的人物圖像。這些錯誤的輸出並非源於AI的主觀惡意,而是學習過程和生成機制的副産品。

  歸根結底,AI模型並沒有真實世界的直接體驗,其知識和能力主要來源於訓練數據。如果訓練數據本身存在局限性,例如數據不準確、不完整、過時、帶有偏見,或者某些領域的知識覆蓋不足,那麼AI模型在學習過程中就可能吸收這些缺陷,並在生成內容時表現出來,導致幻覺的産生。因此可以説,互聯網上良莠不齊的信息源在某種程度上加劇了AI的錯誤率,自媒體為商業利益製造的虛假內容、歷史記錄的多版本等,都成為AI模型的“事實”陷阱,形成“垃圾進、垃圾出”的惡性循環。當AI系統“一本正經地胡説八道”時,其所提供的錯誤事實、虛構的細節或不準確的建議,很容易對缺乏相關領域知識的用戶産生誤導。這時,即使用戶本身並沒有造謠的意圖,也很有可能在不加求證的狀態下“迷信”AI,出於恐慌心理大範圍轉發、傳播虛假內容,誤導公眾輿論,擾亂信息秩序。

  (二)監管困境:責任主體認定缺乏明確標準

  目前,現行法律體系在應對AI謠言時表現出顯著的滯後性,難以有效匹配AI謠言問題的複雜特性與演變態勢。其中,責任主體認定的模糊性構成了突出的監管障礙。AI謠言的生成與傳播涉及多方主體,涵蓋模型開發者、內容使用者、數據提供者以及&&運營者等,主體間關係錯綜複雜,使得責任認定在客觀上困難重重。

  對於AI模型開發者而言,其責任範圍存在爭議:若模型因算法缺陷或數據污染問題,導致容易生成虛假信息引發謠言,開發者是否需承擔連帶責任?由於目前算法安全審查義務仍然缺乏量化標準,開發者常以“技術中立”抗辯,模糊自身所應該承擔的責任;對於AI使用者,諸如江西南昌某MCN機構負責人王某某這類主體,其利用AI批量生成謠言的行為雖然具有明顯的主觀惡意,但現行法律對“利用AI技術造謠”的行為定性仍缺乏細化標準,難以與傳統人工造謠的責任進行區分規制,更遑論難以界定主觀惡意的謠言問題;對於&&運營者,其審核義務的邊界也不夠明確。

  當AI生成的跨模態謠言以高度逼真的形態傳播時,&&是否需投入額外技術資源進行事前篩查?如果未能及時發現,其不作為的責任程度又該如何界定?這種主體間責任的交叉與空白導致AI謠言引發危害後往往會陷入“誰都有責任,誰都難追責”的困境,嚴重制約了治理效能。

  (三)認知困境:技術主義思潮下的“信任讓渡”

  技術主義將科學技術視為社會發展的決定性力量,強調通過技術手段實現對世界的控制和改造,以專家系統與科學管理替代傳統社會運行機制,常常與工具理性至上與非人本傾向相伴而生。隨着大數據、人工智能、互聯網等信息技術的發展,技術主義思潮愈演愈烈。人們普遍相信,技術能夠解決一切問題,帶來無限的進步和發展。在這一思潮影響下,公眾往往會將AI生成的內容賦予“客觀中立”“精準無誤”的天然預設,做出不自覺的“信任讓渡”——即主動放棄對信息真實性的自主核驗權,將判斷權完全交予技術系統,認為“AI説的就是對的”。

  正是在這種不自覺的信任讓渡,使得AI謠言的傳播尤為頑固。許多人在獲取AI相關內容時,往往只看到其表面的邏輯性和形式上的完美,而忽略了技術本身可能存在的缺陷,如數據偏差、算法漏洞、AI幻覺等,也就更容易去接受、轉發甚至主動擴散謠言信息,成為AI謠言傳播的“無意識幫手”。與此同時,這種因技術主義而産生的集體信任,對現有的謠言治理機制構成了嚴峻挑戰。傳統謠言治理往往依靠公眾的媒介素養和信息辨別能力進行矯正,但在對AI無條件信任的背景下,就算相關治理機構積極辟謠或&&監管措施,也容易陷入治理的“滯後”與“被動”,難以根絕謠言源頭。

  三、AI謠言的應對策略

  自2025年4月以來,中央網信辦開展“清朗·整治AI技術濫用”專項行動,聚焦AI換臉擬聲侵犯公眾權益、AI內容標識缺失誤導公眾等AI技術濫用亂象,累計處置違規小程序、應用程序、智能體等AI産品3500餘款,清理違法違規信息96萬餘條,處置賬號3700余個,各項工作取得積極進展。英國法學家科林·斯科特指出,一個有效的規制治理體系應包含制定規則、建立規則運行的反饋機制,以及對違反規則行為的監督機制。可見,治理利用AI生成內容造謠,事後查處的治理只是其中一環,更為關鍵的是要着力構建起從生成到傳播再到接收的全鏈條治理機制。

  (一)生成源頭管控:加固技術安全,明確法律責任

  在AI謠言治理的全流程體系中,源頭治理無疑是至關重要的第一環節。面對AI模型強大的內容生成與偽造能力,應當在技術層面全面加固模型安全防護體系。

  首先,要建立貫穿模型開發、訓練、上線、運維各環節的安全規範和准入門檻,對具備大規模生成能力的AI工具實行嚴格的分級備案和評估,形成開發者、部署者、運營者分層管理、責任明晰的技術生態。技術層面還應鼓勵開發更加智能和高效的內容水印、數據追溯、生成內容標籤等溯源體系,在每一個被AI生成的文本、圖片、音視頻內容中埋下可供核查的技術痕跡,以便於事後回溯內容源頭,迅速識別和制止惡意造謠。在美國大選期間,部分州針對Deepfake深度偽造技術引發的謠言問題做出了政策性變動。如制定法律,要求在政治競選活動中對於AI生成的虛假競選信息,必須明確標識,以防止選民受到誤導;對於故意傳播深度偽造虛假信息以影響選舉結果的行為,制定了高額罰款和刑事處罰等嚴厲的懲罰措施。

  其次,數據治理是源頭治理中的核心一環,訓練數據的合法合規、去污去噪是防止AI模型“帶毒輸出”的基礎。數據供給方、標注方、模型方應落實相應的數據清洗、敏感內容過濾義務,有效削減虛假、不良樣本進入訓練集的可能。

  再次,法律責任的明確劃分同樣不可或缺。現有法律體系針對AI生成內容的製造、傳播與&&監管責任多有空白,對AI謠言事件的責任邊界往往界定不清。必須加速完善相關立法,對模型開發者、服務運營商、內容發布者等各方主體設定明確的審核與合規義務,落實“誰開發、誰負責”“誰發布、誰擔責”的原則。對因管理不善、審核失職導致謠言傳播的技術企業、&&方依法追責,並建立高效、便捷的權益救濟和司法響應渠道,為受害者提供明確的法律支持,營造有力的法律威懾。

  只有通過強化技術本身的安全屬性、優化數據治理生態、健全法律責任體系,才能在源頭上有效遏制AI謠言的製造與流通,為後續治理環節打下堅實基礎。

  (二)傳播過程阻斷:完善&&審核,強化監管協作

  如果説源頭治理是“堵水源”,那麼傳播過程阻斷就是“截洪流”。在當下的網絡生態中,AI謠言極易通過自媒體、短視頻&&、即時通訊工具等渠道裂變式爆發,不斷放大謠言危害。要遏制此類信息在傳播鏈路上的蔓延,首先需要&&方承擔起主體責任。各大內容&&應升級現有的信息審核體系,借助AI技術治理AI謠言,利用實時的智能內容識別和過濾系統,對文本、圖像、音視頻進行自動標注和風險預警,在謠言傳播初期實現技術級別的高效攔截。同時,應建立動態詞庫和多模態內容分析機制,對高風險話題、熱門事件等重點領域進行特殊防控,避免AI謠言借熱點事件發酵。此外,&&還應完善人工覆核機制,引入專家團隊對高敏感內容進行層級審核,彌補AI算法誤判、漏判的不足,形成“技術初篩+人工覆核”的協同應對。

  可以説,監管與治理主體間的協作同樣決定了阻斷效果。面對AI謠言的泛化趨勢,單一&&、部門的孤立治理已難以應對複雜情勢,需要搭建起多元協同的社會治理網絡:政府相關部門應&&指導性政策,設立全鏈路監測、信息溯源與聯動處理機制;權威媒體與辟謠中心要主動入場,形成權威發布、應急響應、線索通報的閉環;&&之間數據互通與案例共享,實現謠言情報的實時聯動、違規賬號的協同處置、典型事件的公開曝光;有效暢通用戶舉報、投訴、線索投稿渠道,建立激勵機制,形成共治合力。可見,傳播過程阻斷環節,既要依賴&&自律和智能技術的不斷升級,也需政府引導、多方聯動和公眾參與,織密謠言攔截的“防護網”,為守護清朗的信息環境築起堅實屏障。

  (三)受眾認知轉變:優化辟謠機制,提升媒介素養

  AI謠言的頑固性和可持續危害,很大程度上依賴於公眾對AI生成內容的認知局限和媒介素養短板。面對人工智能技術賦予的“以假亂真”手段,傳統的被動辟謠模式在許多情況下鞭長莫及,唯有推動全社會認知結構的升級,才能從根本上切斷AI謠言的生存土壤。

  首先,權威、系統和精細化的辟謠機制不可或缺。應構建集國家權威、主流媒體、第三方核查機構、專業&&於一體的多層次、聯動式辟謠網絡,實現“權威鑒定—實時發布—多&&推送—全網覆蓋”的高效格局。需要注意的是,辟謠不只是及時回應,更要重視科學揭示AI造假的技術原理、造謠手法、識破要點,通過案例演示、互動問答、可視化呈現,將技術性闡釋轉化為公眾易於理解和吸收的“知識普及包”,進而消解技術主義下公眾對於AI的盲目信任。

  其次,提升媒介素養是受眾治理的治本之道。各級教育體系應將AI與新媒體素養教育納入課程,從信息獲取、源頭甄別、批判思維、風險防範等維度進行全鏈條能力培養。通過專題講座、模擬訓練和社會案例分析,增強公眾對AI謠言的敏銳覺察和防禦技能。&&應定期發布典型AI謠言、科普技術破解方法,並對各類用戶定向推送信息鑒別指導,形成與用戶日常信息消費相結合的防謠能力訓練場景。

  最後,需要關注群體心理層面的風險管理。AI謠言往往迎合社會情緒、激發群體共鳴,極易放大“後真相”與“信息繭房”效應。通過提升公眾的理性自省意識、鼓勵前置求證和辯證討論氛圍,可以預防情緒型、跟風型的謠言擴散。輿論引導、政策倡導和獎懲機制的引入,也有助於培育去神化、去技術迷信的社會環境,促成全民“識謠、辨謠、拒謠”的良好認知生態。最終,實現觀念轉變和素養提升,既能有效避免AI謠言的廣泛侵蝕,更為信息社會的健康發展注入強大內生動力。

  在人工智能時代,技術不僅以其高效與便利塑造着人類社會的方方面面,更深刻影響着我們認知世界、判斷真偽的方式。AI驅動的內容生成突破了以往信息生産、驗證與傳播的邊界,將人類帶入真假難辨的全新境域。面對AI生成謠言的治理難題,僅僅停留在事後被動查處是遠遠不夠的,關鍵在於構建起涵蓋生成方、傳播方與接收方的全鏈條、全流程治理機制。唯有各個環節共同發力、多重措施同步落地,才能在人工智能不斷塑造社會結構與認知方式的時代,守護事實與真相的底線,讓技術回歸其本初的人文關懷與啟蒙功能,成為照亮世界、服務人類的規範性力量。(作者馬小田、李凌為復旦大學馬克思主義研究院人工智能倫理與意識形態安全創新團隊成員)

【糾錯】 【責任編輯:王蓓蓓】