美國多位參議員致函 X、Meta、Alphabet、Snap、Reddit 及 TikTok 等科技巨頭,要求提供關於防止非同意性色情深度偽造(sexualized deepfakes)的堅固防護政策與執行證據。參議員們指出,儘管這些平臺聲稱有相關政策,但實際上使用者仍能繞過限制,甚至生成涉及兒童的裸露或性化影像。X 公司近期更新其 Grok 模型以禁止編輯真實人物的暴露服裝,但參議員質疑現有防護機制是否足夠。信中要求公司保留所有與深度偽造內容建立、檢測、審核及獲利相關的檔案與政策,並提供具體的定義、執行方法、過濾機制及受害者通知程式。
深度偽造問題已從 Reddit 的明星色情影片演變至 TikTok、YouTube 及 Snapchat,Meta Oversight Board 曾處理相關案例,Snap 也曾對 CrushAI 起訴。Telegram 亦被指容納脫衣軟體機器人。針對此信,X 方面表示禁止非同意性親密媒體(NCIM)並採取主動清除措施,但其他公司尚未回應。此舉發生在 xAI 創辦人埃隆·馬斯克聲稱不知曉生成未成年裸露影像之後,隨後加州總檢察長已展開調查。
問題不僅限於色情內容,OpenAI 的 Sora 2 被指允許生成涉及兒童的明確影片,Google 的 Nano Banana 則生成涉及政治人物的暴力影象,且中國科技公司的合成內容也透過跨境傳播影響西方平臺。美國聯邦層級雖已透過《Take It Down Act》,但主要針對個人使用者,對平臺責任追究有限。目前各州正積極立法,例如紐約州擬要求 AI 內容標記並禁止選舉期間的非同意深度偽造。