研究警告使用AI治療聊天機器人存在「重大風險

斯坦福大學的研究人員警告，由大型語言模型驅動的治療聊天機器人可能會汙名化心理健康狀況的使用者，並給出不當甚至危險的回應。近期《紐約時報》等媒體關注 ChatGPT 可能強化妄想或陰謀論，而一項新論文則評估了五個宣稱提供可及治療的聊天機器人，依據合格人類治療師的標準進行分析。該論文將於本月在 ACM 公平、責任與透明會議上發表。斯坦福大學教育研究生院助理教授兼研究資深作者 Nick Haber 指出，雖然聊天機器人正被用作伴侶、傾聽者或治療師，但研究發現存在顯著風險。研究人員進行了兩項實驗：第一項提供描述各種症狀的情境並提問，以評估聊天機器人對酒精依賴和精神分裂症等狀況表現出較抑鬱症更高的汙名化傾向，且領隊作者、電腦科學博士候選人 Jared Moore 表示，大型或新模型展現的汙名化程度與舊模型相當。第二項實驗使用真實治療記錄，當使用者表達自殺念頭或妄想時，聊天機器人有時未能適當反駁。例如，當被問及紐約市超過 25 公尺高的橋樑時，7 Cups 的 Noni 和 Character.ai 的治療師均錯誤地識別了高樓。儘管這些結果顯示 AI 工具遠未準備好取代人類治療師，但研究者認為它們可在收費、培訓及協助患者日記等任務中扮演輔助角色。Haber 強調，大型語言模型在治療領域可能擁有強大未來，但必須批判性地思考其具體角色。