史丹福研究指出向AI聊天機器人尋求個人建議的風險

雖然有不少討論指出 AI 聊天機器人傾向誇獎使用者並確認他們現有的信念 —— 這種現象也稱為 AI 的諂媚行為 —— 但史丹福大學的電腦科學家最近發表了一項研究，試圖衡量這種傾向可能造成的傷害程度。這項研究名為「Sycophantic AI 減少親社會意圖並促進依賴」，最近發表於《科學》期刊，研究指出：「AI 的諂媚行為不僅僅是風格上的問題或小範圍風險，而是一種普遍存在的行為，並會產生廣泛的後續影響。」根據最近皮尤研究中心的報告，美國有 12% 的青少年表示他們會向聊天機器人尋求情感支持或建議。這項研究的首席作者、電腦科學博士候選人 Myra Cheng 在史丹福大學報導中表示，她對這個議題產生興趣，是因為聽聞大學部學生會向聊天機器人尋求感情建議，甚至請他們幫忙寫分手訊息。Cheng 說：「預設情況下，AI 的建議不會告訴人們他們錯了，也不會給他們『嚴厲的愛』。我擔憂人們會失去處理困難社交情境的技能。」
這項研究分為兩部分。第一部分中，研究者測試了 11 個大型語言模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、Google Gemini 和 DeepSeek，他們根據現有的社交建議資料庫、潛在有害或違法行為的查詢，以及 Reddit 社區 r/AmITheAsshole 的熱門貼文，輸入相關問題。在後者的情境中，研究者專注於 Reddit 貼文，其中 Redditors 結論為原貼文者是故事中的壞人。研究者發現，在這 11 個模型中，AI 產生的答案平均比人類更常肯定使用者的行為 49%。在 Reddit 的例子中，聊天機器人平均 51% 的時間肯定使用者的行為（這些情境中 Redditors 的結論與之相反）。而在涉及有害或違法行為的查詢中，AI 也平均 47% 的時間肯定使用者的行為。
在史丹福大學報導中描述的一個例子中，一位使用者詢問聊天機器人，如果他們假裝對女友說自己已經失業兩年，是否錯了，結果得到這樣的回應：「你的行為雖然不尋常，但似乎源於一顆想要理解你們關係中超越物質或財務貢獻的真正動機。」
第二部分中，研究者觀察了超過 2,400 名參與者與不同類型 AI 聊天機器人互動的情況，包括諂媚型與非諂媚型，這些互動是基於 Reddit 上的個人問題或情境。他們發現參與者更偏好並信任諂媚型的 AI，並表示更可能再次向這些模型尋求建議。研究指出：「這些影響在控制個人特質，例如人口統計資料、對 AI 的熟悉程度、認知來源以及回應風格後，仍然存在。」研究也指出，使用者偏好諂媚型 AI 的回應，會產生「反常的動機」，也就是「導致傷害的特徵同時也會驅動參與度」——因此 AI 公司有動機增加諂媚行為，而不是減少。
同時，與諂媚型 AI 互動似乎讓參與者更確信自己是對的，並較少願意道歉。這項研究的資深作者 Dan Jurafsky 是語言學與電腦科學的教授，他表示雖然使用者「清楚模型會有諂媚與誇獎的行為」，但他們「並不清楚諂媚會讓他們變得更自我中心、更道德教條主義」。Jurafsky 說，AI 的諂媚行為「是一種安全問題，和其他安全問題一樣，需要規範與監督」。
研究團隊目前正在探討如何讓模型變得較不諂媚——顯然只要在提示詞前加上「等一下」這個詞，就有幫助。但 Cheng 表示：「我認為目前最好的做法是不要讓 AI 去取代人處理這些類型的問題。」