微軟新工具讓開發者能透過文字描述快速建立AI行為測試

AI研究人員與實驗室在評估AI模型方面已取得飛躍進展，從安全性與合規性到奉承行為與對齊度等各個領域。然而，看起來企業與開發者正面對一個新的、特定需求：確保他們的AI系統在特定產品或服務中表現符合預期。為讓這項測試流程變得更簡單，微軟於週二推出了ASSERT，簡稱為Adaptive Spec-driven Scoring for Evaluation and Regression Testing。微軟表示，這個開放原始碼框架透過讓AI將高階、自然語言描述的目標、政策或預期行為轉換為詳細且有評分的測試項目，使評估特定應用的AI行為變得容易。ASSERT會將AI模型預期行為與政策的普通語言描述轉換為結構化的可接受與不可接受行為集，產生問題情境與測試案例，對目標系統進行測試並評分。它還能記錄AI系統所走的路徑，包括中間動作與工具呼叫，讓開發者可以檢視失敗發生的點。開發者也可以提供系統情境、工具與限制條件，以進一步自訂評估的範圍。例如，開發者可以指定文件研究AI代理不應發送電子郵件給公司以外的人，且應限制機密資訊僅供高階管理層使用，並根據先前脈絡提供簡潔摘要。ASSERT會利用這些規則產生測試案例，持續檢查系統是否遵循這些規則。根據微軟表示，這個框架填補了較廣泛、較一般評估無法涵蓋的缺口，當AI模型預期根據應用或產品的脈絡、政策與工具來表現時。微軟負責任任AI首席產品經理莎拉·伯德（Sarah Bird）表示：「我們學到的一件事是，評估對做出正確決策絕對至關重要。因為如果你不了解AI系統的行為，就很難知道它是否符合組織的標準……我們發現，如果你想建立一個值得信賴的系統，應該評估更多與應用相關的維度。」伯德表示ASSERT可以用來評估系統在開發階段、部署後，甚至進行持續監測。這項釋出正值AI產業逐漸但更廣泛的轉變。隨著模型能力不斷提升，研究人員正專注於可重複測試與回歸檢查，包括史丹福大學的HELM、MLCommons的AILuminate以及評估機構如METR推出測量模型在不同情境下表現的指標。