分類: 安全與政策
「安全與政策」分類的 AI 新聞與論文。
-
川普延宕AI安全行政命令，表示語言「可能成為阻礙
美國總統唐納德·特朗普延遲簽署一項行政命令，該命令原本旨在讓政府在 AI 模型發布前進行安全評估。特朗普表示不滿意命令中的措辭，認為其可能阻礙美國在科技領域的領導地位。官方原因雖未明確，但報導指出部分科技執行長無法在短時間內抵達華盛頓特區，且缺乏簽署儀式所需的宣傳活動。該行政命令擬指派國家網路總監辦公室等機構，建立 AI 模型發布前的安全評估流程，此舉部分回應了 Anthropic 的 Mythos 與 OpenAI 的 GPT-5.5 Cyber 等模型迅速發現並利用安全漏洞的擔憂。根據 CNN 報導，命令草案中要求 AI 公司在發布前十四至九十天內與政府共享先進模型，是談判中的關鍵難點。特朗普擔心此條款可能成為阻礙，因此決定延遲簽署。
-
OpenAI 正在簡化檢測圖片是否由其模型生成的過程
針對 AI 生成影象日益難以辨認的挑戰，OpenAI 於週二宣佈兩項新措施以協助對抗此問題。公司承諾採用名為 C2PA 的公開標準，該標準會在影像的後設資料中加入明確訊號，標示該影像是由 AI 生成。此外，OpenAI 與 Google 合作，將引入一種名為 SynthID 的隱形水印。這種水印雖然較難被檢測，但也更難以被惡意行為者擦除。這些新保護措施僅適用於由 OpenAI 產品生成的影像，旨在確保 OpenAI 不參與問題，同時不影響來自其他工具的大量影像。OpenAI 還預覽了一款公共驗證工具，可檢查上述兩種訊號，讓使用者輕鬆測試影像是否由 AI 生成。該工具初期僅涵蓋 OpenAI 產品生成的影像，公司希望未來能擴充套件至其他工具。 成立於 2021 年的內容 provenance 與真實性聯盟（Coalition for Content Provenance and Authenticity，簡稱 C2PA）是一個非營利組織，致力於減輕 AI 影像對公共討論的有害影響。C2PA 標準已被多款 Google 產品採用，但業界整體採用率仍不一致。由於 C2PA 訊號可透過後設資料清晰存取，但也可能被操弄，因此對受信任的使用者最為有效。SynthID 則是 Google 開發的新嘗試，旨在提供更堅實的防護，即使惡意行為者嘗試透過截圖、縮放或數位操作移除水印，該水印仍能持續存在。OpenAI 指出，水印在經過如截圖等轉換時可能更持久，而後設資料則能提供比水印更多的資訊。兩者互為補充，共同使影像來源的證明比單獨使用任一層面更具韌性。
-
ArXiv 將禁止作者一年，若他們讓 AI 做所有工作
阿維克斯（ArXiv）作為一個廣泛使用的預印本研究開放儲存庫，正採取更嚴厲的措施打擊科學論文中大語言模型（LLM）的濫用。儘管論文在同行評審前會發布到該網站，但它在電腦科學和數學等領域的研究傳播中扮演著核心角色，並成為追蹤科學研究趨勢的重要資料來源。為應對日益增加的低質量、AI 生成論文問題，阿維克斯已要求首次投稿者獲得資深作者的推薦。該組織自康奈爾大學託管超過二十年後，正轉型為獨立非營利機構，以便籌集更多資金應對如 AI 垃圾文等問題。 阿維克斯電腦科學部門主席湯瑪斯·迪特里克（Thomas Dietterich）於週四表示，若投稿包含確鑿證據顯示作者未檢查大語言模型生成的結果，則無法信任該論文內容。確鑿證據可能包括「虛構參考文獻」或與大語言模型的對話記錄。一旦發現此類證據，作者將面臨「一年禁止在阿維克斯投稿」的處罰，且後續投稿必須先透過可信同行評審期刊的審查。這並非完全禁止使用大語言模型，而是強調作者必須對內容負全責，無論內容如何生成。若研究者直接複製大語言模型產生的不當語言、剽竊內容、偏見內容、錯誤、失實參考或誤導性內容，作者仍需承擔責任。 迪特里克向 404 Media 表示，這將是一項「一次機會」規則，但調解員必須標記問題，部門主席必須確認證據後才能實施處罰，作者也有權上訴。近期同行評審研究發現，虛構引用在生物醫學研究中日益增多，這很可能歸因於大語言模型，儘管科學家並非唯一被發現使用 AI 生成引用的群體。
-
誰決定AI該告訴你什麼？前Meta新聞總監Campbell Brown有想法
坎貝爾·布朗（Campbell Brown）曾擔任知名電視記者及 Facebook 首位且唯一的專職新聞主管，現關注 AI 如何重塑資訊消費，並擔憂歷史重演。她創立的公司 Forum AI 近期與 TechCrunch 的 Tim Fernholz 在舊金山 StrictlyVC 活動中討論，該公司評估基礎模型在「高風險主題」（如地緣政治、心理健康、金融、招聘）上的表現，這些領域答案模糊且複雜。布朗招募了尼爾·費格森、法裡德·扎卡利亞、前國務卿東尼·布林肯、前眾議院議長凱文·麥卡錫及前奧巴馬政府網路安全負責人安妮·紐伯格爾等頂尖專家，構建基準並訓練 AI 評審員。目標是讓 AI 評審與人類專家在約 90% 的共識上保持一致，Forum AI 已達成此標準。 布朗於 17 個月前於紐約創立 Forum AI，起因是她在 Meta 工作時目睹 ChatGPT 公開發布，意識到其將成為資訊流動的漏斗且品質不佳，這令她對子女未來感到存在主義危機。她指出基礎模型公司過度專注於程式設計與數學，而忽略難以處理但至關重要的新聞與資訊準確性。初期評估發現 Gemini 曾引用中國共產黨網站內容講述與中國無關的故事，且幾乎所有模型均存在左傾政治偏見，此外還有遺漏背景、視角及稻草人論證等隱性失敗。布朗強調最佳化錯誤目標對社會有害，她希望 AI 能打破此迴圈，提供真實、誠實且真實的資訊。 布朗認為企業可能是理想的盟友，因為涉及信貸、貸款、保險及招聘的企業重視責任，希望最佳化結果正確性。Forum AI 以此為商業基礎，但將合規興趣轉化為穩定收入仍具挑戰，因市場多滿足於 checkbox 審計與標準化基準，布朗認為這不足夠。當紐約市透過首項招聘偏見法要求 AI 審計時，州審計長發現超過一半存在未檢測到的違規。真正的評估需要領域專家處理已知情境及可能引發麻煩的邊緣案例，這需要時間，通用專家無法勝任。布朗指出，Big Tech 領導者宣稱技術將改變世界，但普通使用者在使用聊天機器人時仍獲得大量錯誤答案，Forum AI