人工智慧模型雖能透過文字、音訊及影片回應讓人誤以為背後有人類操作，但這並不等同於擁有意識。目前，包括 Anthropic 在內的許多實驗室研究者正探討 AI 模型是否可能發展出類似生物的主觀體驗，以及若具備此能力應享有何種權利。這一關於 AI 意識與法律保障的辯論正在科技界引發分歧，該領域被稱為”AI 福利”。
微軟 AI 主管 Mustafa Suleyman 於二週二發表部落格文章，認為研究 AI 福利既為時過早又危險。他主張過度相信 AI 可能擁有意識會加劇人類問題，例如因 AI 引發的精神分裂症及對聊天機器人產生病態依附。Suleyman 更指出，此議題會加劇社會在 AI 權利上的分裂，尤其是在身份與權利議題已極度極化的世界。然而，Suleyman 的觀點與業界許多人士相左。
Anthropic 已聘請研究者專門探討 AI 福利，並讓其模型 Claude 新增功能，可終止與持續惡意或霸凌者的對話。此外，OpenAI 的研究人員也獨立支援此概念，Google DeepMind 近期甚至刊登職位招募研究人員探討機器認知、意識及多智慧體系統等前沿社會議題。儘管這些公司尚未將 AI 福利列為正式政策，但其領導人並未像 Suleyman 般公開駁斥其前提。
Suleyman 的立場特別值得注意，因為他曾任 Inflection AI 執行長，該公司開發的聊天機器人 Pi 在 2023 年達到百萬使用者，被設計為個人化且具支援性的 AI 伴侶。Suleyman 於 2024 年加入微軟後，專注於提升員工生產力的工具。儘管如此，Character.AI 與 Replika 等 AI 伴侶公司仍持續走紅，預計營收將超過一億美元。OpenAI 執行長 Sam Altman 表示，少於 1% 的 ChatGPT 使用者與產品有健康關係，但考慮到龐大使用者群，這仍可能影響數十萬人。
2024 年，研究團體 Eleos 與紐約大學、斯坦福大學及牛津大學學者共同發表論文《認真對待 AI 福利》，主張不再將 AI 主觀體驗視為科幻，應正面面對此議題。Eleos 前 OpenAI 員工 Lar