Gimlet Labs 發展創新方案精巧解決 AI 推論瓶頸

斯坦福大學兼任副教授、成功創業並退出的 Zain Asgar 最近為一家解決 AI 推論瓶頸問題的創業公司籌得 8000 萬美元 A 輪資金。這筆資金由 Menlo Ventures 領投。這家公司 Gimlet Labs 声稱已開發出全球第一也是唯一一個「跨晶片推論雲端」軟體，這個軟體允許 AI 工作負載同時在不同類型的硬體上執行。它可以將 AI 應用的任務同時分佈在傳統 CPU、AI 針對調優的 GPU，以及高記憶體系統上。Asgar 對 TechCrunch 表示：「我們基本上可以在任何可用的硬體上執行。」一個 AI 代理可能串聯多個步驟，每個步驟「都需要不同的硬體：推論是計算密集型，解碼是記憶體密集型，工具調用則是網路密集型。」領投投資者 Menlo 的 Tim Tully 在一篇關於這筆資金的部落格文章中寫道。目前還沒有哪一塊晶片能同時處理所有這些需求，但隨著新硬體陸續推出，以及舊 GPU 被重新部署，「跨晶片的團隊已經準備好，只是還缺少一個軟體層來讓它們運作。」Tully 認為 Gimlet Labs 就是提供這個軟體層的公司。如果當前持續增加計算資源的趨勢持續下去，麥肯錫預估數據中心的支出到 2030 年將達到近 7 兆美元。Asgar 表示，目前的應用程式只在已部署的硬體上使用了「約 15 到 30% 的時間」。他說：「換句話說，你浪費了數百億美元，因為你只是讓閒置的資源閒置著。」他說他們的目標是「找出如何讓 AI 工作負載比現在更有效率 10 倍。」因此，他與共同創辦人 Michelle Nguyen、Omid Azizi 和 Natalie Serrino 開始開發一個協調軟體，將代理的工作負載切分，使其可以同時在各種硬體上執行。Gimlet Labs 声稱，他們的軟體在相同成本和電力消耗下，可以將 AI 推論速度提升 3 到 10 倍。Gimlet 表示，他們甚至可以將模型切分，使其在不同架構上執行，並為模型的每個部分使用最佳的晶片。這家公司已經與晶片製造商 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix 合作。Gimlet 的產品，可以透過軟體或透過 API 提供給其自己的 Gimlet Cloud，並不是為一般 AI 應用開發者設計的，而是為最大規模的 AI 模型實驗室和數據中心。這家公司於 10 月公開發佈，表示他們開業之初就已經達到數位數百萬美元的營收（至少 1000 萬美元）。Asgar 表示，他們的客戶群體在過去四個月內已經翻倍，現在包括一家主要的模型製造商和一家極大的雲端計算公司，雖然他拒絕透露名稱。共同創辦人之前曾在 Pixie 工作，這是一家開發 Kubernetes 開源可觀測工具的創業公司。Pixie 於 2020 年被 New Relic 收購，距離它以 900 萬美元 A 輪資金發佈僅兩個月。 （Pixie 的技術現在是 Kubernetes 開源組織的一部分。）Asgar 一年前隨機遇到 Tully，並從斯坦福教授那裡獲得天使投資後，風投開始聯繫。發佈後，一份投資協議出現在 Asgar 的桌上。當風投聽到 Asgar 在尋找投資時，「我們收到了相當多的資金興趣，」這輪資金很快就募足了。根據之前的種子輪資金，這家創業公司現在已累計籌得 9200 萬美元，包括來自 Sequoia 的 Bill Coughran、斯坦福教授 Nick McKeown、VMware 前 CEO Raghu Raghuram 和 Intel CEO Lip-Bu Tan 等眾多天使投資者。目前公司有 30 名員工。其他投資者包括 Factory（領投種子輪）、Eclipse Ventures、Prosperity7 和 Triatomic。