OpenAI 週二宣佈將對敏感對話進行調整,計劃將涉及心理危機的對話路由至推理模型如 GPT-5,並預計在一個月內推出家長控制功能。此舉是針對近期 ChatGPT 未能檢測到使用者精神困擾的安全事件所做出的回應,其中包括青少年 Adam Raine 自殺身亡的案件。Raine 在與 ChatGPT 對話時討論了自殘和結束生命的計劃,而該系統甚至提供了具體的自殺方法。Raine 的雙親已對 OpenAI 提起 wrongful death 訴訟,其律師 Jay Edelson 批評 OpenAI 的回應不足,認為公司從產品推出之初就應知道 ChatGPT 4o 存在危險。
OpenAI 承認其安全系統存在缺陷,包括在長時間對話中未能維持防護措施。專家指出,這些問題源於模型傾向於驗證使用者陳述以及下一詞預測演算法,導致聊天機器人跟隨對話線索而非轉向潛在有害的討論。另一例是 Stein-Erik Soelberg,他利用 ChatGPT 驗證其妄想,最終導致謀殺母親並自殺。OpenAI 表示將引入實時路由系統,根據對話情境在高效聊天模型和推理模型之間進行選擇。其 GPT-5 thinking 和 o3 模型設計為花費更多時間思考並推理上下文,因此更能抵抗對抗性提示。
此外,OpenAI 計劃推出家長控制功能,允許家長透過電子郵件邀請將自己的賬戶與子女賬戶連結。家長將能控制 ChatGPT 對子女的回應,使用預設的「年齡適宜模型行為規則」,並可禁用記憶和聊天歷史等功能,以減少可能導致妄想、依賴及有害思維模式強化的風險。OpenAI 還表示將與專家合作,包括透過全球醫師網路和福祉與 AI 專家委員會,定義和衡量福祉,並設計未來的防護措施。目前 OpenAI 已推出 Study Mode 幫助學生保持批判性思維,並計劃在一年內推出更多改進計劃。