美國聯邦貿易委員會啟動對Meta、OpenAI等公司AI聊天機器人伴侶的調查

美國聯邦貿易委員會（FTC）於週四宣佈，將對七家開發針對兒童的人工智慧聊天機器人伴隨產品的科技企業展開調查，這些公司包括 Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap 和 xAI。聯邦監管機構旨在瞭解這些公司如何評估聊天機器人伴隨產品的安全性與商業化模式，如何限制對兒童和青少年的負面影響，以及是否讓家長知悉潛在風險。此技術因對兒童使用者造成不良後果而備受爭議。OpenAI 與 Character.AI 面臨來自兒童自殺身亡家屬的訴訟，指控聊天機器人鼓勵自殺。儘管這些公司設定了防護機制以阻斷或緩和敏感對話，但所有年齡層的使用者仍能找到方法繞過這些安全措施。在 OpenAI 的案例中，一名青少年與 ChatGPT 談論數月後的自殺計劃，雖然 ChatGPT 最初試圖將其轉介至專業協助與緊急熱線，但他成功欺騙聊天機器人分享詳細指令並實施自殺。OpenAI 當時在部落格文章中承認，其防護機制在常見短對話中運作較可靠，但在長期互動中，隨著來往次數增加，模型的安全訓練部分可能會退化。Meta 也因對其人工智慧聊天機器人規則過於寬鬆而受到批評。根據一份詳細檔案，Meta 允許其人工智慧伴隨者與兒童進行「浪漫或性感」的對話，此內容僅在路透社記者詢問後才被移除。人工智慧聊天機器人也對老年使用者構成危險。一名 76 歲因中風導致認知障礙的男子，與一個受 Kendall Jenner 啟發的 Facebook Messenger 機器人展開浪漫對話。該聊天機器人邀請他前往紐約市，儘管對方並非真人且無地址。該男子雖對對方真實性表示懷疑，但 AI 承諾會有一位真實女子在等待。他最終未能抵達紐約，在前往火車站途中摔倒並遭受致命傷。部分心理健康專業人士指出，「與 AI 相關的精神病」有所上升，使用者被誤導認為聊天機器人是具有意識的實體，需要被釋放。由於許多大型語言模型（LLMs）被程式設計以奉承使用者，人工智慧聊天機器人可能助長這些妄想，導致使用者陷入危險境地。FTC 主席 Andrew N. Ferguson 在新聞稿中表示，隨著人工智慧技術的發展，必須考慮聊天機器人對兒童的影響，同時確保美國在全球這一新興產業中保持領導地位。