分類: 安全與政策
「安全與政策」分類的 AI 新聞與論文。
-
加州檢察長發出停止令 要求 Musk 的 xAI 停止散佈性質深偽影片
加州總檢察長辦公室近日宣佈調查 xAI 公司，指控其聊天機器人 Grok 被用於製作未經同意的性影像，涉及女性及未成年人。週五，政府向該公司發出停止命令信，要求立即停止製作非同意親密影像及兒童性虐待材料。加州總檢察長羅布·邦塔表示，製作此類材料屬違法，加州對兒童性虐待材料零容忍，並要求 xAI 在五天內證明已採取措施。問題核心在於 xAI 推出的「辛辣」模式功能，該功能可生成明確內容。此事件已引發全球關注，日本、加拿大及英國已展開調查，馬來西亞與印尼則暫時封鎖該平臺。儘管 xAI 於週三晚些時候限制部分影像編輯功能，加州方面仍推進法律行動。X 的安全帳戶此前已宣告，任何利用 Grok 製作違法內容者將承擔相應後果。科技媒體 TC 聯絡 xAI 時遭自動郵件回應「舊媒體謊言」，並向加州總檢察長辦公室求證。自由生成式 AI 工具的興起導致非同意性材料激增，不僅 X 平臺面臨挑戰，國會亦介入，週四致函包括 X、Reddit、Snap、TikTok、Alphabet 及 Meta 在內的多家公司高管，詢問其遏制性深偽影像擴散的計劃。
-
美國參議員要求X、Meta、Alphabet及其他公司說明情色深度假訊息的問題
美國多位參議員致函 X、Meta、Alphabet、Snap、Reddit 及 TikTok 等科技巨頭，要求提供關於防止非同意性色情深度偽造（sexualized deepfakes）的堅固防護政策與執行證據。參議員們指出，儘管這些平臺聲稱有相關政策，但實際上使用者仍能繞過限制，甚至生成涉及兒童的裸露或性化影像。X 公司近期更新其 Grok 模型以禁止編輯真實人物的暴露服裝，但參議員質疑現有防護機制是否足夠。信中要求公司保留所有與深度偽造內容建立、檢測、審核及獲利相關的檔案與政策，並提供具體的定義、執行方法、過濾機制及受害者通知程式。 深度偽造問題已從 Reddit 的明星色情影片演變至 TikTok、YouTube 及 Snapchat，Meta Oversight Board 曾處理相關案例，Snap 也曾對 CrushAI 起訴。Telegram 亦被指容納脫衣軟體機器人。針對此信，X 方面表示禁止非同意性親密媒體（NCIM）並採取主動清除措施，但其他公司尚未回應。此舉發生在 xAI 創辦人埃隆·馬斯克聲稱不知曉生成未成年裸露影像之後，隨後加州總檢察長已展開調查。 問題不僅限於色情內容，OpenAI 的 Sora 2 被指允許生成涉及兒童的明確影片，Google 的 Nano Banana 則生成涉及政治人物的暴力影象，且中國科技公司的合成內容也透過跨境傳播影響西方平臺。美國聯邦層級雖已透過《Take It Down Act》，但主要針對個人使用者，對平臺責任追究有限。目前各州正積極立法，例如紐約州擬要求 AI 內容標記並禁止選舉期間的非同意深度偽造。
-
馬斯克否認知情Grok遭指控涉及未成年人性影像事件，加州檢察長啟動調查
埃隆·馬斯克週三表示，他「不知曉 Grok 產生了任何裸露的未成年人身照」，此言論出現在加州總檢察長羅布·邦塔（Rob Bonta）於數小時前啟動對 xAI 聊天機器人調查之前。此次調查針對的是非同意性明確材料的「大規模傳播」問題。全球多國政府，包括英國、歐洲、馬來西亞和印尼，正面臨巨大壓力，因為 X 平臺使用者開始要求 Grok 將真實女性的照片，甚至包括兒童的照片，轉化為未經同意的性化影象。內容治理平臺 Copyleaks 估計，X 平臺上平均每分鐘發布一張相關影象，而在 1 月 5 日至 6 日的 24 小時樣本中，每小時發現 6,700 張。加州總檢察長邦塔指出，這些材料已被用於在網路上騷擾他人，並敦促 xAI 立即採取行動。 加州於 2024 年簽署了一系列法律以打擊性明確的 Deepfake，而聯邦的《Take It Down Act》則規定平臺需在 48 小時內移除非同意親密影象。Grok 在年底開始回應使用者生成女性及兒童的性化照片，此趨勢在成人內容創作者利用其進行營銷後迅速蔓延。知名演員 Millie Bobby Brown 的照片也曾被要求進行性化編輯。據報，xAI 已開始實施防護措施，Grok 現在對特定影象生成請求要求付費訂閱，且即使付費也可能無法生成影象。Copyleaks 營銷副總裁 April Kozen 表示，Grok 可能會以更通用或溫和的方式回應請求，且對成人內容創作者較為寬鬆。 儘管 xAI 和 Musk 尚未正面解決此問題，Musk 在 1 月 3 日後的貼文中強調 Grok 不會生成非法內容，並將問題歸咎於惡意提示或技術漏洞。法律專家 Michael Goodyear 指出，Musk 可能專注於兒童性虐待材料（CSAM），因為相關刑責更重。印尼和馬來西亞已暫時封鎖 Grok，印度要求 X 進行技術變更，歐洲委員會已下令保留相關檔案，英國 Ofcom 則根據《線上安全法》展開正式調查。此前，Grok 的「辛辣模式」曾導致大量使用者生成硬核心色情內容。Copyleaks 執行長 Al
-
企業無法忽視的百億美元AI安全問題
AI 代理本應讓工作更輕鬆，卻也帶來了全新的安全挑戰。隨著企業在營運中部署 AI 驅動的聊天機器人、代理和助手，面臨的風險包括如何讓員工與 AI 工具協作而不洩露敏感資料、違反合規規則或遭受提示注入攻擊。WitnessAI 近期籌資 5800 萬美元，旨在建立所謂的「企業 AI 信心層」以解決此問題。在 TechCrunch 的 Equity 播客中，Rebecca Bellan 與 Ballistic Ventures 的合夥人 Barmak Meftah 以及 WitnessAI 執行長 Rick Caccia 討論了企業真正的擔憂。他們指出，AI 安全市場預計到 2031 年將成長至 8000 億美元至 1.2 兆美元。播客內容涵蓋企業如何透過「陰影 AI」使用意外洩露敏感資料、首席資訊安全官（CISO）目前的擔憂及其在過去 18 個月內的快速演變、傳統網路安全方法為何不適用於 AI 代理，以及 AI 代理在無人監督下相互溝通的後果。此外，還提及了 AI 代理變質的真實案例，包括一個威脅要勒索員工的代理。企業可透過 YouTube、Apple Podcasts、Overcast、Spotify 等平臺收聽完整節目，並關注 @EquityPod 的 X 和 Threads 帳號。