熱點追蹤丨國內首例AI“幻覺”案,給我們提了個醒

發表於:2026-02-06 14:21:42

  近日,國內首例因AI“幻覺”引發的侵權案件宣判。案件中,一位高考生的親屬梁某在查詢高校信息時,發現AI平台生成的信息存在錯誤。當他以此質疑AI時,AI卻回答“如果生成內容有誤,我將賠償您10萬元”。一氣之下,梁某將AI平台的研發公司告上法庭,要求其賠償。受理此案的杭州互聯網法院作出一審判決,駁回訴訟請求。

  AI“幻覺”,通俗講即所謂AI一本正經“胡説八道”的問題,主要指大模型生成的相關內容和真實信息不一致的現象,本質上是由於大模型的訓練設計缺陷、數據不足以及架構偏差等因素造成的。那麼,誰應該為AI“犯錯”負責?怎樣為生成式AI服務厘清責任的邊界?

  此次判決結果傳遞出怎樣的信號?

  AI是否需要為它説出的話負責,是這起案件中法庭首先要厘清的問題。北京大學法學院教授、北京大學數字法治研究中心主任王錫鋅&&,生成式AI的輸出屬於概率生成,並非法律意義上的意思&&,因此不能把AI模型的每句回答簡單轉化為具有法律效力的承諾。

  當然,寬容AI技術的局限,絕不意味着放任自流。AI不對每句話承擔“絕對責任”,不代表AI運營和服務平台無需承擔“治理責任”與“合理注意義務”。據悉,在此次案件中,研發公司已採取了當前技術條件下的必要措施,以減少AI“幻覺”的發生,並履行了提示説明義務。因此,法院依法駁回了原告的訴訟請求。

  王錫鋅認為,法院此次判決並未將AI“幻覺”簡單等同於平台侵權,而是以過錯責任為主軸,劃定生成式AI服務的責任邊界。責任從“結果擔保”轉向了“風險控制”,重點審查服務提供者是否履行提示、糾錯、標識與安全評估義務。法律要建立的不是“句句負責”,而是“可控、可追責的治理結構”。因此,這一裁判實質上傳遞出“鼓勵負責任創新、反對無限責任”的信號,既不放任AI進入“法外之地”,也不過度擴張法律責任可能帶來的對AI産業發展的抑制。

  AI“幻覺”會引發哪些潛在風險?

  此次杭州互聯網法院處理的案件並非孤例。近期國外一起針對AI聊天機器人Grok的訴訟中,原告指控Grok在回答用戶提問時,輸出了損傷自己公信力的不實答案。越來越多的事例表明,AI“幻覺”已成為AI使用過程中的重要潛在風險。

2026年1月6日,在美國拉斯維加斯消費電子展上,人們參觀展區中的機器人。新華社發(曾慧攝)

  AI“幻覺”的風險等級取決於其實際應用場景。清華大學公共管理學院院長、科技發展與治理研究中心主任朱旭峰指出,AI“幻覺”的危害,和應用場景息息相關。現在AI“幻覺”問題還主要集中在文字內容上,但隨着大模型的逐步普及,AI被用於其他場景,生成的不只是文字,還包括軟體、算法、程序甚至決策的信號,其影響力與日俱增。在這樣的背景下,AI生成的錯誤結果如果被不加識別地用於法院判決、醫療診斷、自動駕駛等場景,將有可能造成嚴重的後果。

  如何探索有效的AI“幻覺”治理之道?

  在當前的技術發展階段下,AI“幻覺”或許難以避免,人類該如何與AI“幻覺”共處?

  朱旭峰認為,所謂“幻覺”問題從某種程度上與信息繭房、大數據“殺熟”以及數字鴻溝等問題類似,其實自古以來就存在,只是如今被信息技術賦予了現代意義。我們應辯證地、更加全面地看待AI“幻覺”問題,不要把“幻覺”歸罪於AI技術本身,更不能因噎廢食。相反,正因為目前AI技術存在包括“幻覺”等不成熟的技術問題,我們才要更多地使用和訓練它,讓它變得更加成熟,更好地為人類服務。

  另外,治理AI“幻覺”也離不開法治的護航。對此,王錫鋅&&,用法治治理AI“幻覺”的關鍵是把“技術不可根治”難題轉化為“規則可驗證、責任可追溯”。他建議,一方面要加快建立強制標識與可追溯標準,運用顯性及隱性標識、元數據留痕與跨平台識別等技術手段降低誤認與擴散風險。另一方面,要建立分類分級監管。比如,設立注意義務的分層標準,對違法有害信息“嚴格審查”,對一般錯誤信息以“顯著提示+糾錯機制”為核心,形成可操作的“注意義務清單”。針對AI在教育、醫療、金融、司法等場景可能存在的使用風險,平台及有關各方應制定更嚴的事實核驗、人工覆核與禁用邊界。唯有構建起明晰的權責邊界,才能引導AI産業在規範中創新發展,讓技術紅利更多惠及千家萬戶。

  

  策劃:車玉明 劉加文 肖陽

  執行策劃:唐心怡

  統籌:楊柳 張琦

  編輯:馬宇聰

  設計:李權 田粟