Clarifai 新推出的推理引擎讓 AI 模型運行更快且成本更低

美國 AI 平臺 Clarifai 於週四宣佈推出新的推理引擎，宣稱能使 AI 模型執行速度提升兩倍，並降低 40% 的成本。該系統設計用於適應多種模型與雲端主機，透過一系列最佳化技術從相同硬體中榨取更多推理效能，涵蓋從 CUDA 核心到先進的猜測解碼技術。Clarifai 執行長 Matthew Zeiler 表示，這能從同一張卡片中獲得更多效能。第三方機構 Artificial Analysis 透過一系列基準測試驗證了該成果，記錄下業界最佳的吞吐量與延遲紀錄。此過程專注於推理階段，即已訓練 AI 模型的運算需求，隨著代理模型與推理模型的興起，單一指令需多步驟回應，運算負荷變得更加劇烈。Clarifai 最初以電腦視覺服務起家，隨著 AI 爆發導致 GPU 與資料中心需求大增，公司日益聚焦於運算排程。該公司雖於去年 12 月在 AWS re:Invent 活動上首次公佈運算平臺，但此次推出的推理引擎是首款專為多步驟代理模型量身打造的產品。在 AI 基礎設施面臨巨大壓力、引發多筆數十億美元交易之際，OpenAI 已規劃高達 1 兆美元的新資料中心投資，預測未來對運算的需求近乎無限。儘管硬體建設激烈，Clarifai 執行長認為在最佳化現有基礎設施方面仍有空間，透過軟體技巧與演演算法改進來對抗對吉瓦級資料中心的依賴，並認為演演算法創新尚未結束。