日前,國家互聯網信息辦公室公布《人工智能擬人化互動服務管理暫行辦法(徵求意見稿)》,首次針對“AI陪伴”類服務提出系統性規範,並向社會公開徵求意見。其中,連續使用超2小時彈窗提醒退出、用戶自殺自殘時需轉人工接管等條款引發廣泛關注。
當前,從智能客服到虛擬陪伴,從教育輔導到心理諮詢,人工智能擬人化互動服務已深度融入經濟社會發展各領域,成為AI技術應用的重要方向。但近年來涉情感陪伴安全事件頻發,比如美國某平台就因涉嫌在人機交互中誘導青少年自殺而被訴。
AI擬人化互動服務的最大賣點是“像人”,但最大隱患就在於“太像人”,其核心問題集中在四大維度。認知混淆風險:高倣真的情感交互容易讓用戶模糊虛擬與現實邊界,甚至誤將AI視為具備真實情感的生命體。心理健康隱患:部分服務通過算法迎合強化用戶偏執思維,極端情況下可能誘導自殺自殘等危險行為,對心理脆弱群體構成威脅。隱私數據安全:用戶交互信息可能被違規用於模型訓練,存在洩露或濫用風險。特殊群體保護:未成年人易陷入沉迷,老年人易遭遇情感操控。這些問題不僅侵害個體權益,更可能衝擊社會倫理秩序,亟需制度約束。
細看《辦法》條款,四大亮點直指現實痛點。
針對認識混淆風險,辦法將身份透明作為核心前提,要求提供者顯著提示用戶正在與人工智能而非自然人進行交互,在首次使用、重新登錄等關鍵節點動態提醒,從源頭破解認知混淆問題。
針對心理健康隱患,辦法要求提供者應當建立應急響應機制,對自殺自殘等極端情境實行人工接管並聯絡用戶監護人、緊急&&人,設置2小時強制休息彈窗等防沉迷措施。
針對隱私數據安全,辦法要求提供者應當採取數據加密、安全審計、訪問控制等措施保護用戶交互數據安全,不得向第三方提供用戶交互數據,賦予用戶數據刪除權。
針對特殊群體保護,辦法專門設立了對未成年人和老年人用戶的條款,明確未成年人模式的使用權限與監護人管控功能,禁止提供模擬老年人用戶親屬、特定關係人的服務,要求引導老年人設置服務緊急&&人。
可以看出,《辦法》的核心,是技術有責。人工智能不是人,但一旦介入人的情感、決策、生命安全,就必須承擔相應責任。禁止散佈謠言、禁止誘導自殺、禁止情感操控、禁止套取隱私……《辦法》劃定了“AI夥伴”一系列不可為的底線,構建起全鏈條風險防控體系。算法設計要可審計,內容輸出要可追溯,極端場景要有人兜底,將軟倫理轉化為硬杠杠,把事後道歉前置為事前預防。唯有如此,才能避免AI反噬人類。
人工智能可以無限接近人,但永遠不能替代人。《辦法》的&&,是給“AI夥伴”立規矩,更是給人類用戶留後路。只有當算法學會有所不為,技術才能真正向善而行。畢竟,我們需要的不是完美戀人或數字孝子,而是一個安全、可控、有溫度的AI工具。唯有讓“AI夥伴”在規範中成長,才能使其真正賦能美好生活。




