需求對電腦運行 AI 模型的熱潮只持續加劇，但業界人士必須克服兩個主要障礙：取得正確的晶片，以及將這些晶片部署到資料中心，使其開始產生收入。General Compute 是一家新興的推理 neocloud 公司，專門出租 AI 處理能力，專注於模型運行並回應使用者的階段，而非訓練階段。這家公司對這些問題的解答，揭示了 AI 生態系統的未來走向。這些解答幫助 General Compute 筹得 1500 萬美元的種子輪融資，後市評估為 6000 萬美元，由 FUSE VC 領導，Carya Venture Partners 和 Village Global Ventures 參與。
首先，什麼是正確的晶片？GPU 的需求達到頂峰，但現在已成為共識，認為它們不是運行訓練過的 AI 模型的最佳選擇。模型 actively 產生回應的階段，計算需求與訓練階段不同，因此正在設計一種新的晶片類別。Nvidia 在 12 月以 20 億美元收購 Groq，以及 Cerebras 本周以 57 億美元上市，都顯示出這個趨勢。在這兩家公司都面臨容量瓶頸的情況下，General Compute 的共同創辦人、執行長 Finn Puklowski 和技術長 Jason Goodison 找到另一個選擇。他們轉向由 SambaNova 開發的專用晶片，這是一家受 Intel 支持的晶片製造商，專注於推理領域，雖然近期在矽谷的討論中較少被提及。這或許會在 SambaNova 今年推出新晶片時改變。SambaNova 声稱其架構更具靈活性，並在推理計算中使用更多記憶體來儲存上下文，而且它不僅超越 GPU，也超越 Groq 或 Cerebras 等公司開發的專用晶片。Puklowski 表示，新晶片每秒可產生 600 到 700 個 token，而 GPU 則約為每秒 250 個 token。General Compute 已經預訂了 3 億美元的公司 SN50 晶片，並表示將成為第一家部署這些晶片的 neocloud 公司。
這些晶片也幫助解決 General Compute 的第二個大問題——應該放在哪裡——這些晶片是風冷而非水冷，且耗電較少，因此可以在現有的資料中心設施中安裝，而無需新的基礎建設投資。Puklowski 正在尋找 colocation 約定——與其他機構共享硬體設施的安排——不僅與資料中心供應商，也與尋求將其基礎建設重新利用的加密貨幣礦商合作，因為生產比特幣的成本經常高過其價格。
General Compute 在週末推出了其雲端服務，聲稱目前已經是運行強大的 opensource LLM MiniMax 2.7 最快的服務。Joe Hasselmann 是一位風險投資者，他在 2021 年投資 Groq，從而參與了推理熱潮的早期階段。今年，他創立了一家新基金 Evercrest Capital Partners，專注於 AI 領域，並將 General Compute 當作其首筆投資。Hasselmann 認為 General Compute 與 SambaNova 的合作，與 CoreWeave 與 Nvidia 的關係相似，也與 Groq 的晶片製造與其前雲端服務的搭配相似。他表示：「他們需要健康的客戶組合，這些客戶會將晶片部署在高成長環境中。」「General Compute 對 SambaNova 下注，SambaNova 也對 General Compute 下注。」
問題在於哪種電腦架構能在 AI 未來中創造最大價值。推理雲端服務隱含著對多重模型與代理的未來世界的押注，一個沒有單一供應商主宰的世界，推理速度與成本成為關鍵競爭因素。考慮 OpenRouter 本周籌得 1.13 億美元的 Series B 融資，反映公司能提供客戶存取多個模型，以最佳化 token 花費的能力。速度在這項計算中至關重要，不僅在價格上，也在能力上。Puklowski 希望將編碼代理的小時工作負載縮短為五分鐘或十分鐘，並開發用於客服的語音代理，這些代理需要更快的推理速度才能有效溝通。他表示：「如果你使用 ChatGPT，它每秒給你 50 個 token，這還是比我們讀得快多了。」現在情況已轉向代理對代理，代理會為我們閱讀或查詢資料庫，因此它們需要更快的速度。