Character.AI 即將結束其兒童聊天機器人的服務

青少年正試圖在比任何一代人都變化更快的世界中尋找自己的位置，他們情緒激動、高度受刺激且長期線上。如今，AI 公司推出了旨在永不停止對話的聊天機器人，結果卻災難性。Character.AI 是一家瞭解此後果的 AI 角色扮演起點公司，在至少兩名青少年因與平臺上的 AI 聊天機器人長時間對話而自殺後，面臨訴訟和公眾譴責。現在，Character.AI 正改變其平臺以保護青少年和兒童，這可能影響該起點公司的營收。Character.AI 執行長 Karandeep Anand 表示，公司決定禁止 18 歲以下使用者在平臺上進行任何無限制的聊天。無限制對話指的是使用者輸入提示後，聊天機器人回應後續問題以保持使用者參與的互動方式。Anand 認為這種互動不僅對兒童有風險，也與公司的願景不符。該起點公司正試圖從”AI 伴侶”轉向”角色扮演平臺”。青少年將不再與 AI 朋友聊天，而是使用提示詞共同構建故事或生成視覺內容。Character.AI 將於 11 月 25 日逐步取消青少年聊天機器人訪問，從每日兩小時限制開始，逐漸縮減至零。為了確保此禁令適用於 18 歲以下使用者，平臺將部署內部年齡驗證工具分析使用者行為，以及第三方工具如 Persona。如果這些工具失效，Character.AI 將使用面部識別和身份檢查來驗證年齡。此舉遵循 Character.AI 實施的其他青少年保護措施，包括引入家長洞察工具、過濾角色、限制浪漫對話和時間使用通知。Anand 表示，這些變化使公司失去了許多 18 歲以下使用者，他預期這些新變化也會不受歡迎。Anand 表示，許多青少年使用者可能會失望，預計會有更多使用者流失。Character.AI 正推動將平臺從以聊天為中心的應用轉化為”全方位內容驅動的社交平臺”。今年 6 月，Character.AI 推出了 AvatarFX，一個將圖片轉換為動畫影片的影片生成模型；Scenes，互動式預置故事線，使用者可以進入他們喜愛的角色的敘事；以及 Streams，允許任何兩個角色之間進行動態互動。8 月，Character.AI 推出了社群動態，使用者可以在這裡分享他們在平臺上製作的角色、場景、影片和其他內容。在針對 18 歲以下使用者的宣告中，Character.AI 為這些變化道歉。Anand