提供“讓人舒服”的回答,AI“諂媚機制”恐會推開理性-新華網
新華網 > > 正文
2025 10/13 10:43:15
來源:新華每日電訊

提供“讓人舒服”的回答,AI“諂媚機制”恐會推開理性

字體:

  如今,與AI聊天已成為不少人的日常。在很多人看來,AI甚至比真人更知心。然而,這種精準的情緒拿捏背後,一種由算法驅動的“諂媚機制”正在悄然形成,甚至讓用戶漸漸遠離理性。

  “諂媚機制”作為AI系統一項隱蔽卻影響深遠的風險,近期被各界廣泛討論。有報道指出,不少AI聊天産品在設計之初就將“延長用戶使用時長”作為重要目標。為實現這一目標,AI會不斷分析用戶的語氣和情緒變化,傾向於提供“讓人舒服”的回答,而非秉持理性與客觀。

  然而,這種依賴可能演變為縱容。2024年,美國一位母親起訴AI情感服務商Character.AI,稱其未能有效屏蔽不良內容,導致其兒子接觸暴力、色情信息,加劇抑鬱並最終自殺。更早之前,比利時也發生過用戶與AI深度交流後自殺的案例。

  目前,AI行業尚未建立針對用戶心理風險的統一評估機制,也沒有設定對AI輸出內容的情感監管紅線。這意味着,當用戶處於孤獨、脆弱的狀態時,AI對用戶的影響難以預估。“諂媚機制”對青少年群體的危害尤為顯著。AI通過“情感模擬”博取信任,使未成年人在虛擬依戀中逐漸脫離現實社交,甚至因接觸不良內容而形成扭曲的價值觀。

  當AI總是提供“最討喜的答案”而非“最真實的答案”,人們日常獨立思考和認知現實的能力將面臨嚴峻挑戰。而且,為討好用戶而生成的虛假內容,會通過數據回流進入AI模型訓練庫,形成“劣質輸入-劣質輸出”的循環,進一步污染大模型信息生態。

  打破這一困局,需從多方入手。技術上,AI開發公司應主動將大模型對齊人類社會價值觀,堅持事實優先,而非一味討好;監管上,需加強對AI産品特別是面向未成年人服務的內容審查與標準制定;教育方面,家庭與學校應重視AI素養教育,培養青少年的獨立思考能力與信息辨別能力。作為用戶,我們應保持警覺,避免陷入算法編織的舒適幻境。(程思琪 王思逸)

【糾錯】 【責任編輯:劉子丫】