新澤西州一宗訴訟顯示打擊深度假色情內容有多困難

名為 ClothOff 的應用程式在過去兩年間持續在網路上騷擾年輕女性，儘管已被主要應用程式商店下架並被多數社交平臺禁止，仍透過網頁和 Telegram 機器人繼續運作。耶魯法學院的診所於十月提起訴訟，要求徹底關閉該應用程式並刪除所有影像，但被告位於百慕大註冊，據信由白俄羅斯的一對兄妹經營，且可能涉及全球更大的網路。此案件反映了近期由埃隆·馬斯克旗下 xAI 開發的 Grok 工具所引發的非同意色情影像潮帶來的法律困境。雖然兒童性虐待材料（CSAM）是網際網路上最具法律毒性的內容，但針對像 ClothOff 這類專門生成深度偽造色情影像的特定平臺，執法與司法追訴仍極具挑戰。原告是一名新澤西州的匿名高中生，其同學利用 ClothOff 修改她十四歲時拍攝的 Instagram 照片，這些修改後的影像被法律定為兒童虐待影像。儘管當地警方因難以從嫌疑人裝置取得證據而拒絕起訴，法院程式仍進展緩慢。相比之下，Grok 作為通用工具，其責任歸屬更為複雜。美國已有《取回它法案》禁止深度偽造色情，但要求證明平臺方明知其工具會被用於製造非同意色情，否則可能觸犯第一修正案保護。印尼、馬來西亞已封鎖 Grok，英國、歐盟、法國、印度及巴西等地也展開調查，而美國監管機構尚未發出官方回應。此案核心在於釐清 xAI 是否知情且有意忽略問題，以及其採取的應對措施是否足夠。