遞歸這個詞語成為AI圈裡最新熱門話題。兩家獨立的創業公司已經採用這個名稱，許多其他公司也在他們的發展路線上提及遞歸自我提升（RSI）。與AGI一樣，RSI已成為預示AI爆發性成長的三字母縮寫詞——即使對於它究竟意味著什麼仍存在一些爭議。簡單來說，RSI指的是能夠持續自我升級的AI系統。一旦AI系統能比人類更好地管理升級週期，這個過程就可以成為一個閉環，僅受限於它們所能接觸到的計算能力，人類將不再必要甚至不再有幫助。不管多麼嚇人，這是一個許多AI實驗室都急於追尋的願景。
本月早些時候，知名AI研究者Richard Socher推出了名為Recursive Superintelligence的項目，並明確將RSI作為目標。Socher在發佈時告訴TechCrunch：「我們的主要重點是建立真正遞歸、自我提升的超智能系統，這意味著研究想法的構思、實現與驗證過程將自動化。」許多其他著名研究者也正在追尋同樣的目標，希望能實現遞歸自我提升的突破。其中最顯著的人物之一是Andrej Karpathy，他是Tesla和OpenAI的傳說人物，目前正利用代理群體來訓練LLMs完成簡單任務，這項專案被稱為Auto-Research。Karpathy對專案的進展異常公開，經常在推特上分享里程碑，並透過公開的GitHub倉庫提供基礎建設。截至目前為止，專案的成果主要集中在對GPT-2規模模型進行小幅改進——正如Karpathy在三月份所說：「這還不算是創新、突破性的研究（還未實現）」——但這已經足夠說服許多其他研究者投入RSI的夢想。而隨著Karpathy現在在Anthropic從事預訓練工作，他將有更多機會在更大規模上應用這個想法。
Adaption這家由Cohere和Google前員工Sara Hooker創辦的公司最近推出了一個類似的工具AutoScientist，試圖自動化邊界訓練。與Karpathy的Auto-Research相似，這個系統訓練代理進行漸進式改進——但對Adaption而言，目標是讓訓練完整規模邊界模型變得更容易。如果這些研究者開始推動邊界前進，系統可能會迅速演變成類似RSI的狀態。
Disarray創辦人Doris Xin因她的自我訓練機器學習代理在最近的Kaggle競賽中奪得28面獎牌而引起了更多RSI關注，這讓許多人類訓練的代理都望塵莫及。在她看來，主要的挑戰在於可靠性。「我認為，假設有無限的計算能力和無限的時間，我們已經達到了這個境界，」Xin告訴我。「我想爭辯的是，這並不是一個創新的過程，其實只是大量基礎工程。」
還遠未實現
當然也有大量證據顯示，AI產業距離實現遞歸系統還遠遠不夠——而且仍在努力與懷疑的公眾談論其進展。Google CEO Sundar Pichai最近在一次播客採訪中基本上承認了這一點。「這是一個連續體，我們當然都在不斷進步，」Pichai說。「但在人們描述RSI的方式中，這代表了一個加速的下一層次，並會產生許多影響，但我們還遠遠沒有達到這個階段。」
不過這個連續體中包含許多自我提升的AI系統。今年一月，Anthropic Claude Code的首席程式設計師之一估計，他團隊中接近100%的代碼都是由這個工具撰寫——這是一個坦率的承認，說明Claude Code實際上是在自我撰寫。雖然工程師使用AI工具並不意味著工具可以取代他們——但Anthropic似乎正在接近取代工程師的階段。最近一項與Mythos預覽相關的調查顯示，18位Anthropic工程師中有五位認為，透過改善控制方式，這個Mythos版本很快就可以取代L4工程師——這是一種中階程式設計師，可以獨立承擔複雜專案。
當然，這類系統仍存在一些相同的弱點。報告中指出：「與L4工程師相比，Claude的主要報告弱點包括自我管理長達一週的模糊任務、理解組織優先順序、品味、驗證、遵循指示以及知識推理。」換句話說，它的弱點就是與自我導向相關的一切，這正是RSI的基石。但說到其他方面，Claude似乎已經準備好直接上場。
與AGI一樣，AI產業也無法告訴我們距離展示一個有意義的遞歸系統還有多遠。當喬治城大學安全與新興技術中心（CSET）去年召集專家研究RSI時，他們發現評估意見存在明顯分歧——有些人預期會出現一場「超智能」風格的爆發，而有些人則預期較慢的進展並最終達到一個平台期。但所有專家都同意，遞歸讓未來變得極其難以預測。
CSET的執行長Helen Toner以及前OpenAI董事會成員告訴TechCrunch，僅僅使用AI工具進行AI研究還不夠資格被視為RSI。「他們只是盡可能地使用AI，」Toner告訴TechCrunch。「而在經典意義上，RSI的定義是完全不需要人類參與。」Toner指出了一篇由METR的Ajeya Cotra撰寫的近期文章，該文章區分了通往AI研究接管的不同里程碑。其中一個階段，Cotra稱為「適度」，指的是系統在移除所有人類後仍能進行研究——即使結果不那麼有價值或有效率。當AI-only系統與人類-only系統一樣好時，就會達到「平衡」階段。而「優越」階段則是當AI-only系統表現優於人類與AI合作系統時。最終，Cotra結論認為，AI已經非常接近能夠自行產生一些工作的門檻——與Karpathy的Auto-Research系統所帶來的漸進改變相似。「如果告訴我這個里程碑已經通過，我也不會感到驚訝，而且我預期這會在未來幾年內發生，」Cotra寫道。她對達到平衡階段的時間則不太清楚，但一旦達到，她認為這將「大幅加速AI進展的節奏，導致在另一年內實現AI研究優越。」
前路仍有障礙
由於許多AI系統都是建立在擴展法則之上，人們很容易認為RSI也會遵循相同的曲線。Toner認為，許多通過RSI進行AI研究與開發的人「認為這就像一個相當平滑的梯子，可以不斷擴展規模。」但即使AI研究者能夠像Karpathy的Auto-Research那樣進行漸進式改進，將整個研究過程交給系統仍將面臨更大的挑戰。Toner用計算機歷史來說明這個過程，從機器語言到組合語言再到編譯語言，人類越來越遠離計算機的核心，但人類仍然在某種直觀意義上掌控一切。「我們從機器語言轉向組合語言和編譯語言；你離計算機的核心越來越遠，」Toner說。「但人類仍然在某種意義上掌控一切。」要超越這個範疇將需要工程與對齊方面的重大挑戰。但即使有大量投資，也沒有無限的計算能力——人類勞動與機器智能之間的基本權衡將很難克服。
至於那些預言性的全遞歸AI系統？研究者基本上唯一一致的看法是，與AGI一樣，它還遠遠未實現。