推理新創 Inferact 获得 1.5 億美元資金用於商業化 vLLM

開源專案 vLLM 的創作者已宣佈將其轉型為由風險投資支援的創業公司 Inferact，並成功籌得 1.5 億美元種子資金，估值達到 8 億美元。該輪融資由 Andreessen Horowitz 和 Lightspeed Venture Partners 共同領投，確認了 TechCrunch 此前的報導，指出 vLLM 已獲得 a16z 的投資。Inferact 的首次融資案例與近期 SGLang 專案轉化為 RadixArk 的情況相似，據悉 RadixArk 由 Accel 領投，估值為 4 億美元。隨著人工智慧關注點從模型訓練轉向在應用中部署，即推論階段，能夠讓這些 AI 工具執行得更快且更經濟的技術，如 vLLM 和 SGLang，正吸引投資者關注。vLLM 和 SGLang 均於 2023 年在 Databricks 共同創辦人 Ion Stoica 的加州大學伯克利分校實驗室孵化。Inferact 執行長 Simon Mo，也是該專案的原始創作者之一，曾向 Bloomberg 表示，vLLM 的現有使用者包括 Amazon 的雲端服務以及購物應用程式。