斯坦福兼任教授兼成功退出創始人 Zain Asgar 近日為解決 AI 推論瓶頸問題的初創公司 Gimlet Labs 籌資 8000 萬美元進行 A 輪融資，該輪由 Menlo Ventures 領投。Gimlet Labs 宣稱打造了全球首個「多矽推論雲」，這是一種允許 AI 工作負載同時在多種硬體上執行的軟體。該軟體能將 AI 應用程式的工作分佈於傳統 CPU、AI 調優的 GPU 以及高記憶體系統之間。Menlo Ventures 的 Tim Tully 指出，目前沒有任何晶片能同時滿足推論、解碼和工具呼叫等不同硬體需求，而隨著新硬體推出和舊 GPU 重新部署，Gimlet Labs 提供的多矽艦隊已準備就緒，僅缺軟體層面。McKinsey 估計，若當前增加運算趨勢持續，資料中心支出到 2030 年將達近 7 兆美元，但現有硬體利用率僅約 15 至 30%。Gimlet Labs 的目標是讓 AI 工作負載效率提升 10 倍。
Gimlet Labs 的創始團隊包括 Michelle Nguyen、Omid Azizi 和 Natalie Serrino，他們開發了 orchestration 軟體以將代理工作負載切分並同時分佈於各類硬體。據公司宣稱，其產品在相同成本和功耗下可將 AI 推論速度提升 3 至 10 倍，甚至能將底層模型切分至不同架構並使用最佳晶片。Gimlet Labs 已與 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix 等晶片廠商合作。其產品透過軟體或 API 形式交付，主要面向大型 AI 模型實驗室和資料中心，而非普通開發者。公司於十月公開上市，首月即實現八位數營收。客戶基礎在過去四個月內翻倍，已包含一家主要模型製造商和一家極大雲端計算公司。創始人此前曾在 Pixie 共事，該公司於 2020 年被 New Relic 收購。Gimlet Labs 目前僱用 30 人，總籌資額達 9200 萬美元，投資方包括 Sequoia 的 Bill Coughran、