Uptime Industries 推出名為 Lemony AI 的手持式「AI 在盒子」裝置,旨在推動企業部署本地化 AI 基礎設施。該裝置尺寸約等於三明治大小,僅需 65 瓦電力運作,相當於為筆記型電腦充電,並可堆疊連線以形成大型 AI 叢集。每節點可支援高達 750 億引數的大型語言模型,並能執行開源模型或經過改造的封閉模型。Uptime 與 IBM 及 JetBrains 合作,協助客戶更便捷地存取 AI 模型,特別是 IBM 的封閉模型。
該產品的構想源於共同創辦人 Sascha Buehrle 與 Ivan Kuleshov 的側面專案,他們最初嘗試在 Raspberry Pi 微電腦上分發語言模型。當發現本地執行模型能解決企業對雲端依賴的疑慮,並提升資料隱私時,便開始自行開發此裝置。Buehrle 表示,這種小型化方案能讓 AI 輕鬆進入團隊,無需全公司決策,從而加速企業採用。
目前,Lemony AI 在金融、醫療及法律等監管嚴格的行業已獲得強勁需求,因為所有檔案、郵件及模型均保留在裝置內,不會外流。Uptime 已完成由 True Ventures 領投、Alumni Ventures 及 JetBrains 參與的 200 萬美元種子輪融資,資金將用於裝置開發。公司計畫將自研的 Lemony OS 軟體擴充套件至其他硬體平臺,如 Nvidia DGX Spark,並從單使用者模式轉向團隊協作模式。Lemony AI 月費為 499 美元,最多支援五名使用者同時使用。