思科機器實驗室(Thinking Machines Lab)憑藉兩十億美元的種子資金和前 OpenAI 研究人員組成的頂尖團隊,引發了廣泛關注。該實驗室於九日十日透過部落格文章首次公開其核心專案,旨在開發能產生可重複回應的 AI 模型。這篇標題為「擊敗大型語言模型推理中的非確定性」的文章,由研究者霍勒斯·赫(Horace He)撰寫,深入探討了導致 AI 模型回應隨機性的根本原因。文章指出,隨機性主要源於 GPU 核(GPU kernels)在推理處理過程中的編排方式,這些核是執行於 Nvidia 晶片內的小型程式。赫建議透過精確控制這一層次的協同工作,有可能使 AI 模型變得更加確定性。
實驗室認為,讓 AI 模型生成可重複的回應不僅能提升企業和科學家的使用可靠性,還能改善強化學習(RL)訓練過程。由於強化學習依賴對正確答案的獎勵,若模型回應略有不同,資料就會產生雜訊,導致訓練過程不穩定。實驗室計劃利用強化學習為企業客製化 AI 模型,並承諾頻繁發布部落格文章、程式碼等資訊,以促進公眾利益並改善內部研究文化。前 OpenAI 技術長米拉·穆拉提(Mira Murati)表示,實驗室的首款產品將在幾個月內推出,預計將對開發客製化模型的研究人員和創業公司有用。儘管實驗室估值達一兆二億美元,但其能否解決這些前沿問題並推出相應產品仍待觀察。此部落格系列名為「Connectionism」,涵蓋從核數值到多種研究主題。