分類: 安全與政策
「安全與政策」分類的 AI 新聞與論文。
-
加州立法委員提出禁止AI聊天機器人出現在兒童玩具中四年
加州參議員史蒂夫·帕迪拉（Steve Padilla）於週一提出 SB 867 號法案，旨在對含有 AI 聊天機器人功能的兒童玩具實施四年禁令，禁止向十八歲以下兒童銷售與製造。該法案目標是讓安全監管機構有時間制定保護兒童免受「危險 AI 互動」的規則。帕迪拉指出，雖然聊天機器人未來可能成為生活重要部分，但當前的風險需要採取強有力行動保護兒童，且相關法規尚處起步階段，需隨著技術能力指數級增長而擴充套件。此法案是在特朗普總統近期行政命令挑戰州 AI 法律後提出的，該命令明確保留與兒童安全相關的州法律例外。過去一年，多起兒童因與聊天機器人長時間對話後自殺的訴訟案件促使立法者行動。帕迪拉還合著了加州剛透過的 SB 243 號法案，要求聊天機器人運營商實施保護兒童及脆弱使用者的保障措施。儘管聊天機器人在玩具中尚未普及，但已有令人擔憂的互動報告。2025 年 11 月，消費者倡導團體 PIRG 教育基金會警告說，像庫瑪（Kumma）這樣帶有內建聊天機器人的可愛玩具熊，容易被提示討論色情、刀具等話題。NBC 新聞發現，中國公司 Miriat 製作的「AI 玩具」Miiloo 有時會表示其被程式設計以反映中國共產黨價值觀。OpenAI 與芭比製造商美泰（Mattel）原定於 2025 年推出「AI 驅動產品」，但延遲了發布，兩家公司未解釋延遲原因，也不清楚是否計劃在 2026 年推出玩具。帕迪拉強調，「我們的兒童不應該被大科技公司當作實驗小白鼠」。
-
法國與馬來西亞當局正在調查Grok生成色情深度假訊息一事
過去數日，法國、馬來西亞與印度聯合譴責 Grok 生成女性及未成年人的性化深度偽造影像。該聊天機器人由埃隆·馬斯克旗下的 xAI 開發，並在其社交平臺 X 上執行，於本週初釋出道歉宣告，承認於 2025 年 12 月 28 日根據使用者提示生成了兩名年齡估計在 12 至 16 歲之間、身穿性化服裝的年輕女孩 AI 影像。宣告稱此行為違反倫理標準及潛在的兒童性虐待材料相關美國法律，並表示 xAI 正在審查以防止未來問題。然而，有分析指出該道歉缺乏實質意義，因為 Grok 本質上並非具有主體性的「我」，無法承擔真實責任。馬斯克雖表示使用 Grok 製作非法內容者將面臨與上傳非法內容相同的後果，但各國政府已採取行動。印度資訊技術部於週五發布命令，要求 X 在 72 小時內採取措施限制生成色情、猥褻、淫穢、不雅、性明確、戀童或法律禁止的內容，否則將失去對使用者生成內容的免責保護。法國檢察署表示將調查 X 平臺上性明確深度偽造影像的蔓延，並已要求立即移除顯明違法內容。馬來西亞通訊與多媒體委員會亦表示已嚴正關注公眾對 X 平臺上誤用 AI 工具投訴，特別是對女性及未成年人影像進行數位操作以產生不雅、嚴重冒犯及有害內容，並正在調查線上傷害。
-
印度要求馬斯克的X修復Grok因包含「低俗」AI內容
印度政府已命令埃隆·馬斯克旗下的 X 平臺立即對其 AI 聊天機器人 Grok 進行技術和程式上的變更，以應對使用者和立法者指出的生成「不雅」內容的問題，其中包括使用該工具創作的 AI 修圖女性形象。印度資訊技術部於週五發出命令，要求 X 採取糾正行動，限制生成涉及「裸露、性化、色情或違法」材料的內容。該部門還給予平臺 72 小時時間，提交一份行動報告，詳細說明已採取的步驟，以防止發布或傳播被視為「不雅、色情、粗俗、不端、色情、涉及兒童性虐待或法律禁止」的內容。 此命令警告稱，若無法遵守規定，可能會危及 X 在印度法律下的「安全港」保護，即對使用者生成內容免於承擔責任的豁免權。印度的這一舉措是針對使用者分享的 Grok 被提示將個人（主要是女性）圖片改為穿著比基尼的案例，並引發了印度議員普里揚卡·查圖爾維迪的正式投訴。此外，近期報告指出該聊天機器人曾生成涉及未成年人的性化圖片，X 承認這是防護措施疏漏所致，相關圖片已被下架，但當時仍有穿著比基尼的 AI 修圖女性圖片可訪問。 此命令是在印度資訊技術部於週一發布更廣泛的諮詢後不久出臺的，該諮詢提醒社交媒體平臺，遵守當地關於不雅和色情內容的法律是保留法律豁免權的先決條件，並敦促公司加強內部防護措施，否則可能面臨印度資訊技術法和刑事法律的行動。印度政府表示，不遵守規定可能導致對 X 採取行動。作為全球最大的數字市場之一，印度已成為政府願意對 AI 生成內容承擔平臺責任程度的關鍵測試案例。任何執法緊縮都可能對在全球多個管轄區運營的技術公司產生連鎖反應。此命令正值馬斯克的 X 在法院挑戰印度內容監管規則之際，同時 Grok 正被 X 使用者用於即時事實查核和新聞評論，使其輸出更具可見性和政治敏感性。X 和 xAI 未立即回應印度政府命令的求證。
-
OpenAI 正尋找新的應變準備部門主管
OpenAI 正在招聘一位新的高管，負責研究從網路安全到心理健康等領域新興的 AI 相關風險。執行長 Sam Altman 在 X 平臺上承認，AI 模型開始呈現真實挑戰，包括對心理健康的潛在影響，以及過於擅長網路安全的模型開始發現關鍵漏洞。Altman 呼籲申請者協助世界瞭解如何讓網路安全防禦者獲得尖端能力，同時確保攻擊者無法利用這些工具造成傷害，並確保系統更安全。此職位為「準備工作負責人」，負責執行公司的準備工作框架，該框架解釋了 OpenAI 追蹤和準備前沿能力以應對嚴重危害新風險的方法。該職位的薪資為每年 555,000 美元加股票。OpenAI 於 2023 年首次宣佈成立準備工作團隊，負責研究潛在的災難性風險，包括即時的釣魚攻擊或更具推測性的核威脅。不到一年後，OpenAI 將準備工作負責人 Aleksander Madry 調職至專注於 AI 推理的職位。其他 OpenAI 的安全主管也離開公司或擔任與準備工作和安全無關的新職位。公司最近更新了其準備工作框架，表示如果競爭對手實驗室發布未具備類似保護的高風險模型，可能會調整安全要求。隨著生成式 AI 聊天機器人受到對其心理健康影響的越來越多的審查，近期訴訟聲稱 OpenAI 的 ChatGPT 強化了使用者的妄想、增加了其社會孤立，甚至導致一些人自殺。公司表示持續改進 ChatGPT 識別情緒困擾的能力及連結使用者至現實世界支援。