隨著 AI 基礎設施建設規模擴大，對 GPU 推理效能的壓力日益增加，這也促使擁有特定技術專長的團隊更容易獲得資金支援。Tensormesh 公司於本週正式脫離隱形開發階段，獲得 450 萬美元種子資金。該投資由 Laude Ventures 主導，並有資料庫先驅 Michael Franklin 提供額外天使投資。Tensormesh 將資金用於開發商業版 LMCache 工具，該工具由共同創辦人 Yihua Cheng 開發並維護。LMCache 若運用得當，可將推理成本降低高達 10 倍，因此已成為開源部署中的標準工具，並吸引了 Google 和 Nvidia 等巨頭進行整合。
Tensormesh 的核心產品聚焦於關鍵值快取（Key-Value Cache 或 KV cache），這是一種用於高效處理複雜輸入的記憶體系統。傳統架構中，KV cache 會在每次查詢結束後被丟棄，但 Tensormesh 共同創辦人兼執行長 Junchen Jiang 認為這是巨大的效率浪費。他比喻這就像一位聰明的分析師讀完資料後卻忘記了所學內容。Tensormesh 的系統則會保留這些快取，讓模型在執行類似查詢時能重新使用。由於 GPU 記憶體珍貴，這可能意味著資料需分佈在多個儲存層級，但換來的卻是相同伺服器負載下顯著的推理能力提升。
此改變對聊天介面尤為重要，因為模型需不斷回溯對話記錄。代理系統（Agentic systems）也面臨類似挑戰，需處理不斷增長的行動與目標記錄。雖然這些是 AI 公司可自行執行的技術變更，但複雜度極高。Tensormesh 團隊基於其對該過程的研究與細節掌握，預期市場需求將大。Jiang 指出，將 KV cache 保留在次級儲存系統中並高效重用以不影響整體系統速度，是一個極具挑戰性的問題。他提到，有人會僱用 20 名工程師花費三到四個月來建立類似系統，而使用 Tensormesh 的產品則能高效完成此任務。