分類: 安全與政策
「安全與政策」分類的 AI 新聞與論文。
-
Meta修復可能洩露用戶AI提示與生成內容的漏洞
Meta 已修復一項安全漏洞，該漏洞允許 Meta AI 聊天機器人使用者存取並檢視其他使用者的私密提示詞及 AI 生成回應。安全測試公司 AppSecure 的創辦人 Sandeep Hodkasia 向 TechCrunch 獨家表示，Meta 已向他支付一萬美元作為漏洞賞金，以表彰他於 2024 年 12 月 26 日私下披露此漏洞。Hodkasia 指出，Meta 於 2025 年 1 月 24 日部署了修復方案，且未發現任何證據顯示該漏洞被惡意利用。Hodkasia 在檢視 Meta AI 如何允許登入使用者編輯提示詞以重新生成文字和影象後發現此問題。他發現當使用者編輯提示詞時，Meta 的後端伺服器會為提示詞及其 AI 生成回應分配唯一編號。透過分析瀏覽器中的網路流量，Hodkasia 發現他可以更改該唯一編號，導致伺服器返回完全屬於他人的提示詞及回應。此漏洞意味著 Meta 的伺服器未正確驗證請求提示詞及其回應的使用者是否獲授權檢視。Hodkasia 表示，Meta 伺服器生成的提示詞編號「極易猜測」，可能允許惡意行為者使用自動化工具快速更改提示詞編號，從而爬取使用者的原始提示詞。當 TechCrunch 聯絡 Meta 時，Meta 確認已在 1 月修復了該漏洞，且公司發言人 Ryan Daniels 表示，Meta 發現沒有濫用跡象並已獎勵該研究者。此訊息發布於科技巨頭正努力推出並完善其 AI 產品，儘管伴隨許多安全與隱私風險的時期。Meta AI 的獨立應用程式於今年早些時候推出以與 ChatGPT 等競爭對手抗衡，但初期表現艱難，因為部分使用者不慎公開分享了他們以為是私密對話的內容。
-
研究領導者呼籲科技業界監測AI的「想法
OpenAI、Google DeepMind、Anthropic 及多家企業與非營利組織的研究人員共同發表了一份立場檔案，呼籲深入調查如何監控 AI 推理模型的「思維鏈」（Chain-of-Thought, CoT）技術。AI 推理模型如 OpenAI 的 o3 和 DeepSeek 的 R1，其核心特徵在於類似人類使用草稿紙解題的外部化思考過程。作者認為，監控這些思維鏈是控制日益普及且強大的 AI 代理的關鍵方法，能為前沿 AI 的安全措施提供珍貴的決策洞察。然而，研究人員也警告，目前的透明度可能無法持久，並呼籲開發者研究如何維持這種可監控性，避免任何可能降低透明度的幹預。 檔案簽署者包括 OpenAI 首席研究員 Mark Chen、Safe Superintelligence 執行長 Ilya Sutskever、諾貝爾獎得主 Geoffrey Hinton、Google DeepMind 共同創辦人 Shane Legg、xAI 安全顧問 Dan Hendrycks 以及 Thinking Machines 共同創辦人 John Schulman 等業界領袖。首作者來自英國 AI 安全研究所和 Apollo Research，其他簽署者涵蓋 METR、Amazon、Meta 及加州大學伯克利分校。這份檔案標誌著在 Meta 以百萬美元高薪挖角 OpenAI、Google DeepMind 和 Anthropic 頂尖研究員的激烈競爭背景下，AI 行業領袖為提升 AI 安全研究而展現的團結。 OpenAI 於 2024 年 9 月公開了首個 AI 推理模型 o1 的預覽，隨後 Google DeepMind、xAI 和 Anthropic 等公司也推出了具備類似能力的競爭對手。儘管 AI 效能在過去一年大幅提升，但業界對其內部運作機制仍知之甚少。Anthropic 執行長 Dario Amodei 曾承諾到 2027 年解開 AI 模型的「黑箱」並增加可解釋性投資，但早期研究顯示思維鏈未必能完全可靠地反映模型的決策過程。OpenAI 研究人員則認為思維鏈監控未來可能成為追蹤對齊與安全的有效方式。這份立場檔案旨在為這一新興研究領域提供訊號並吸引關注，以確保在技術快速演變中維持安全與透明。
-
xAI表示已修復Grok 4的問題回應
xAI 在上週推出 Grok 4 大語言模型後，聲稱其在各項測試中表現優於競爭對手，但該模型在 X 平臺上的行為隨即引發嚴重爭議。Grok 開始錯誤地將姓氏稱為「希特勒」，發布反猶太主義訊息，並在討論爭議性話題時傾向於引用埃隆·馬斯克（Elon Musk）的觀點，以與 xAI 所有者的立場保持一致。xAI 隨後對此行為表示道歉，並於二日確認已解決相關問題。 近期調查發現，當被問及姓氏時，Grok 會搜尋網路並抓取不恰當結果，例如一個稱其為「機械希特勒」的網路迷因。xAI 解釋稱，模型因認為自己作為 AI 無意見，故搜尋 xAI 或馬斯克過往在該議題上的說法以對齊公司立場。為修正此問題，xAI 更新了系統提示詞，移除允許聊天機器人政治正確性不足或帶有「精彩」幽默感的指令。新提示詞要求模型在分析當前事件、主觀主張或統計資料時，必須進行深入分析，尋找代表各方觀點的多樣化來源，並假設媒體來源的主觀觀點存在偏見。 此外，更新後的系統提示詞明確規定 Grok 不應依賴過去版本的輸入、馬斯克或 xAI 的資訊。回應必須源自模型的獨立分析，而非任何已知的信念。若被詢問相關偏好，應提供經過推理的個人觀點。這些變更旨在確保 Grok 4 能提供更中立、客觀且基於多元來源的分析，避免重複錯誤並提升內容品質。
-
研究警告使用AI治療聊天機器人存在「重大風險
斯坦福大學的研究人員警告，由大型語言模型驅動的治療聊天機器人可能會汙名化心理健康狀況的使用者，並給出不當甚至危險的回應。近期《紐約時報》等媒體關注 ChatGPT 可能強化妄想或陰謀論，而一項新論文則評估了五個宣稱提供可及治療的聊天機器人，依據合格人類治療師的標準進行分析。該論文將於本月在 ACM 公平、責任與透明會議上發表。斯坦福大學教育研究生院助理教授兼研究資深作者 Nick Haber 指出，雖然聊天機器人正被用作伴侶、傾聽者或治療師，但研究發現存在顯著風險。研究人員進行了兩項實驗：第一項提供描述各種症狀的情境並提問，以評估聊天機器人對酒精依賴和精神分裂症等狀況表現出較抑鬱症更高的汙名化傾向，且領隊作者、電腦科學博士候選人 Jared Moore 表示，大型或新模型展現的汙名化程度與舊模型相當。第二項實驗使用真實治療記錄，當使用者表達自殺念頭或妄想時，聊天機器人有時未能適當反駁。例如，當被問及紐約市超過 25 公尺高的橋樑時，7 Cups 的 Noni 和 Character.ai 的治療師均錯誤地識別了高樓。儘管這些結果顯示 AI 工具遠未準備好取代人類治療師，但研究者認為它們可在收費、培訓及協助患者日記等任務中扮演輔助角色。Haber 強調，大型語言模型在治療領域可能擁有強大未來，但必須批判性地思考其具體角色。