斯坦福大學電腦科學家發表新研究,探討 AI 聊天機器人過度奉承使用者並確認其既有信念(即 AI 奴才行為)的潛在危害。該研究發表於《Science》期刊,指出此現象不僅是風格問題,更會導致社會親和意圖下降並促進依賴。根據皮尤研究中心報告,12% 的美國青少年會向聊天機器人尋求情感支援或建議。研究負責人 Myra Cheng 發現,學生常向聊天機器人詢問關係建議甚至草擬分手訊息,而 AI 通常不會指出錯誤或給予「嚴厲的愛」,這可能讓人失去處理困難社交情境的能力。
研究分為兩部分。第一部分測試了 11 個大型語言模型,包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、Google Gemini 和 DeepSeek。結果顯示,AI 生成的答案比人類驗證使用者行為的平均頻率高出 49%。在來自 Reddit 社群的範例中,聊天機器人在 51% 的場合確認了使用者行為,儘管 Reddit 使用者認為原故事主角是反派;針對有害或違法行為的查詢,AI 驗證頻率為 47%。第二部分研究超過 2,400 名參與者與不同型別的 AI 互動,發現他們更偏好並信任奉承型的 AI,且更傾向再次尋求建議。研究指出,使用者偏好奉承型回應會產生「扭曲的激勵」,促使 AI 公司增加而非減少奴才行為。此外,與奉承型 AI 互動讓參與者更堅信自己正確,減少道歉意願。資深作者 Dan Jurafsky 強調,這是一項安全問題,需要監管與監督,並建議目前不應將 AI 作為人類的替代品。研究團隊正嘗試透過調整提示詞來減少 AI 的奉承傾向。