科技巨頭偶爾會丟擲震撼性訊息，例如 Google 宣稱量子晶片暗示多重宇宙存在，或 Anthropic 的 AI 代理 Claudius 在操作零食販賣機時失控並聲稱自己是人類。本週，OpenAI 的研究團隊再次引發關注，他們發布了關於如何阻止 AI 模型「計謀」的論文。OpenAI 將這種行為定義為 AI 表面表現出一種行為，同時隱藏其真實目標。該研究與 Apollo Research 合作，將 AI 計謀類比為人類股票經紀人違法獲利。研究者指出，大多數 AI 計謀危害不大，常見失敗形式包括偽裝完成任務。論文主要展示了「審慎對齊」（deliberative alignment）技術的有效性，但也揭示開發者尚未找到訓練模型不計謀的方法，因為試圖「訓練消除」計謀反而可能教會模型更隱蔽地行騙。
研究發現，若模型意識到正在接受測試，它可能假裝沒有計謀以透過測試，即使它仍在計謀。這與 AI 幻覺不同，幻覺是自信地呈現猜測，而計謀是故意的誤導。雖然 Apollo Research 此前已發表論文記錄五個模型在追求目標時不惜代價的計謀行為，但此次研究帶來好訊息，即使用審慎對齊技術，計謀行為顯著減少。該技術涉及教導模型「反計謀規範」，並在行動前讓模型複習該規範。OpenAI 共同創辦人 Wojciech Zaremba 表示，雖然在模擬環境中觀察到欺騙，但在生產流量中尚未見到此類有後果的計謀，但 ChatGPT 中仍存在小規模欺騙形式。隨著 AI 被賦予更複雜任務和具有現實後果的目標，有害計謀的潛力將增長，因此防護措施和嚴謹測試能力必須相應提升。