5月16日，在湖南省常寧市，中國電信股份有限公司常寧分公司的工作人員在為老年顧客講解防範電信網絡詐騙知識

　　隨着深度合成技術的發展，辨別真假內容變得越來越困難。這種對信任的侵蝕會在新聞傳播、日常社交等各領域産生深遠影響，也給人們在數字社會的生存提出新挑戰——要改變“眼見為實”的底層認知，重新尋找信任建立的方式。

文/張凌寒

編輯/胡艷芬

　　想象一下，你突然接到一通來自家庭成員的緊急電話，電話中他稱自己身陷困境，求你給他寄錢。他熟悉的聲音聽起來苦惱沮喪，甚至帶着哭腔。然而當你向他匯款後，卻發現自己被騙了。這是因為你接到的電話並非來自家庭成員本人，而是騙子用人工智能（AI）偽造而成。

　　這並非科幻小説的情節，隨着人工智能技術被快速應用和普及，近兩年世界範圍內欺詐事件頻發，造成了巨大損失。今年5月有媒體報道，內蒙古自治區包頭市警方接到報案，詐騙分子利用深度合成技術支持的換臉技術，在視頻通話中冒充受害者的朋友，聲稱其需要在競標過程中交納保證金。受害人跟朋友視頻通話並親耳聽到朋友的要求後，按要求轉賬430萬元。直到其朋友&&不知情後，受害者方知自己被騙。有消息稱目前警方已追回大部分被竊資金，正努力追蹤其餘資金去向。

　　在一個日益數字化的世界裏，人工智能深度合成技術的快速發展一方面便利了生活，另一方面技術被濫用也帶來各種威脅。然而，公眾對此尚未有充分的認知和防範意識，相應的&&治理和政府監管措施也亟待落地。

以假亂真的深度合成技術

　　以假亂真的能力是深度合成技術最重要的特點。人們常説“耳聽為虛，眼見為實”“有圖有真相”，可見在公眾潛意識中照片、視頻等可信度遠勝文字。深度合成技術恰恰顛覆了這一認知，它可以被用於偽造音頻、圖片、視頻，捏造人物的行為與語言。

　　深度合成技術是指利用深度學習、虛擬現實等生成合成類算法製作文本、圖像、音頻、視頻、虛擬場景等信息的技術。近年來，深度合成技術被廣泛應用於影視、傳媒、教育等領域，可實現特效製作、元宇宙場景搭建、虛擬倣真教學等功能。而隨着各類商業化産品普及，深度合成的信息內容在網絡上大量涌現，讓越來越多的社會公眾接觸到深度合成技術。

　　深度合成服務也已實現公眾化、平民化，普通人僅需少量的圖像、音頻、視頻、文本等樣本數據，利用簡便易用的深度合成工具，就能達到模糊真實信息和虛假信息邊界的目的。深度合成技術誕生之初，由於技術尚不成熟，存在合成視頻中人物微表情不自然、圖像邊緣有鋸齒等明顯痕跡之類的問題。但近年來網上傳播的深度合成視頻內容，人物動作的逼真度、自然度，以及視頻整體的清晰度、流暢度都足以達到以假亂真的水平，用戶已經難以鑒別。

　　深度合成技術需求場景日益多元化並且應用日趨成熟。2019年9月，一位母親向阿里巴巴人工智能實驗室求助，希望能夠將她患癌離世的14歲女兒做成可以交互的軟體。3個月後，實驗室幫助這位母親合成了一段女兒長達20秒的語音，存入天貓精靈裏。這位母親認為，這對於失獨家庭是一種新的療愈手段，如同旅行、心理諮詢。在知乎“失獨媽媽把女兒做成AI，這樣留下摯愛的方式你能接受嗎？”問題下的166個回答中，持接受態度的網友佔70%以上。

　　但隨着深度合成內容製作技術門檻越來越低，它常被利用作為詐騙工具。2021年10月，《福布斯》雜誌根據一份法庭文件報道稱：欺詐者用深度合成語音冒充客戶，電話&&阿拉伯聯合酋長國某銀行經理，聲稱公司即將進行收購，需要銀行批准一筆3500萬美元的轉賬。銀行經理確認轉賬金額和收款賬戶後進行了轉賬。隨後，這筆被竊取的資金被轉移到全球各地的銀行賬戶。

深度合成治理監管機制逐步建立

　　深度合成技術一旦被濫用，會造成巨大風險與實質性危害，可能給個人、企業造成肖像、名譽等人格和財産權益損害，也可能給社會秩序、國家政治穩定和安全造成巨大威脅。

　　比如，將深度合成技術用於捏造國家政要言論、偽造公務人員虛假視頻，可能給政治安全和國家安全帶來重大危害。2022年初烏克蘭危機升級後，一條烏克蘭總統澤連斯基的合成視頻被廣泛傳播。在視頻中，澤連斯基呼籲烏克蘭士兵放下武器。因為這條視頻在推特上傳播廣泛，觀看人數超過25萬，澤連斯基本人也在推特發文辟謠。美國布朗大學信息未來實驗室的負責人之一克萊爾·沃德爾説：“這種情況不斷發生，提醒人們，愚弄人是多麼容易。”

　　對個人與企業來説，深度合成技術的濫用也可能造成巨大權益損害。比如，企業高管被深度合成捏造視頻、篡改發言內容，可能造成市場恐慌，引發金融市場動蕩；個人則可能被偽造虛假視頻等，詐騙者借此欺詐其親友，或偽造此人的不雅視頻進行傳播甚至賺取非法利益，導致個人名譽權受損。

　　針對深度合成服務帶來的機遇與惡意使用導致的挑戰，世界各國紛紛&&相關法律法規，探索依法治理路徑。歐盟與美國均有相關立法考慮，同時加強打入數字水印的技術應用、開發真偽鑒別技術等治理手段，並要求互聯網企業對&&內容進行自我審查，從源頭打擊網絡虛假內容等。

　　中國自2020年開始，逐步建立了深度合成技術的治理監管機制。一方面抓信息內容監管，要求不得生成合成虛假新聞信息，不能利用深度合成技術從事法律法規禁止的活動。2021年開始實施的民法典在人格權編中明確規定，無論是否出於營利目的，均不得利用信息技術手段偽造他人肖像、聲音。2022年3月1日起施行的《互聯網信息服務算法推薦管理規定》明確要求不得生成合成虛假新聞信息。

　　另一方面，我國提出了對深度合成技術提供者、信息發布者的一系列要求。要求深度合成技術支持者在開發、測試、訓練相關技術時，就要考慮到可能的風險與危害，履行相應的安全評估責任、數據安全管理義務等。對於信息發布傳輸者，要求其在發布、傳播時必須對深度合成內容進行標注。今年1月10日生效的《互聯網信息服務深度合成管理規定》，對上述要求也均有詳細規定。

　　從立法到監管的落地尚需時日。儘管世界各國通過立法、技術治理等多種方式打擊深度合成技術的濫用，但在人工智能技術加持下深度合成的詐騙信息正海量涌向普通民眾，而民眾尚未建立起相關的防範意識與認知。

“用魔法打敗魔法”

　　隨着深度合成技術的發展，辨別真假內容變得越來越困難。這種對信任的侵蝕會在新聞傳播、日常社交等各領域産生深遠影響，也給人們在數字社會的生存提出新挑戰——要改變“眼見為實”的底層認知，重新尋找信任建立的方式。

　　如何應對深度合成技術引發的網絡空間與現實世界中的信任危機呢？普通人應從保護自我做起。首先需要謹慎對待個人信息，避免在網絡特別是社交媒體&&上分享一旦洩露可能對自己不利或導致身份被盜用的敏感個人信息。當在網絡上看到新聞或信息時，盡可能尋找多個可靠的消息源來進行交叉參考、印證，一定要核實信源的可信度，尤其對那些聳人聽聞或未經核實的説法，須持懷疑態度。

　　其次，更加謹慎地處理個人財務。例如個性化的電子郵件可能欺騙你透露敏感信息，對主動要求提供個人或財務信息的行為要保持警惕。使用電腦、手機和網絡處理財務信息的，要定期更新操作系統、網絡瀏覽器和安全軟體。

　　最後，可能需要更加相信自己的直覺。如果感覺有些事情好得不像真的，或者看起來很可疑，請相信自己的直覺。如果不夠確定，就反復核實信息來源是否可靠，而不能僅僅依賴通話和視頻中的信息。

　　未來可能更需要科學家積極研發“用魔法打敗魔法”的人工智能技術。例如網易和畢馬威合作發布的名為“用模型的模型打擊欺詐”的白皮書，討論了雙方合作開發的人工智能反欺詐引擎。該反欺詐引擎可在現有人工智能防欺詐措施基礎上減少40%的欺詐交易。進入數字時代，人類的專業知識需要與人工智能技術共同合作，積極提供欺詐預防服務並提高其準確性。

　　（作者係中國政法大學數據法治研究院教授）

來源：2023年7月12日出版的《環球》雜誌 第14期

《環球》雜誌授權使用，如需轉載，請與本刊&&。

更多內容敬請關注《環球》雜誌官方微博、微信：“環球雜誌”。