當AI開始自我建構時會發生什麼事？

Richard Socher 在 AI 領域已經有相當長一段時間，最為人知的是創辦早期的聊天機器人創業公司 You.com，而在那之前，他因在 ImageNet 的工作而聞名。現在，他加入了當前一代專注於研究的 AI 新興企業 Recursive Superintelligence，這家位於舊金山的創業公司於週三正式亮相，並獲得 6.5 億美元的資金。Socher 在這個新專案中與多位知名 AI 研究人員一同合作，包括 Peter Norvig 和 Cresta 創始人 Tim Shi。他們一起致力於開發一種可以自我改進的 AI 模型，這個模型可以自主識別自身的弱點並重新設計自己以解決問題，而不需要人類的干預 —— 這一直是當前 AI 研究的聖杯。我在專案啟動後透過 Zoom 與他進行了對談，深入探討 Recursive 的獨特技術方法，以及為何他不認為這個新專案屬於所謂的「新實驗室」（neolab），這是一個指稱新一代專注於研究而非產品開發的 AI 創業公司的非正式名詞。這場專訪已為長度與清晰度進行過編輯。我們最近聽到很多關於遞歸（recursion）的討論！感覺這個目標在不同實驗室之間都很常見。你認為 Recursive 的獨特方法是什麼？我們獨特的方法是透過開放性來達到遞歸自我改進，而這目前還沒有任何人實現過。這對許多人來說是一個難以達到的目標。許多人已經假設只要進行自動研究，就會達到這個目標。你知道，你可以讓 AI 去改善某些東西，這可能是機器學習系統，也可能是你寫的一封信，或者任何其他東西，對吧？但這不是遞歸自我改進，這只是改善。我們的主要重點是建立一種真正可以規模化的遞歸自我改進超智能，這意味著研究想法的構思、實現與驗證過程將會自動化。首先，這會自動化 AI 研究想法，最終任何類型的研究想法，甚至最終在物理領域。但當 AI 去改善自身時，這特別強大，這時 AI 會發展出一種對自身缺點的自我意識。你用「開放性」這個詞，這有特定的技術含義嗎？有。事實上，我們的共同創始人之一 Tim Rocktäschel 曾在 Google DeepMind 擔任開放性與自我改進團隊的領導者，特別是在世界模型 Genie 3 的研究上，這是一個開放性的優秀例子。你可以告訴它任何概念、任何世界、任何代理，它就會創造出那個世界，而且是互動的。在生物進化中，動物適應環境，而其他生物則適應這些適應。這是一個可以持續數十億年的過程，而且會不斷產生有趣的東西，對吧？這就是我們頭部長出眼睛的方式。另一個例子是彩虹團隊（rainbow teaming），來自 Tim 的另一篇論文。你聽過紅隊（red teaming）嗎？在網路安全領域，這意味著——所以紅隊在大型語言模型（LLM）的背景下也需要進行。基本上，你試圖讓 LLM 告訴你如何製造炸彈，並確保它不會這麼做。現在，人類可以花很長時間想出 AI 不該說的各種例子。但如果讓第一個 AI 與第二個 AI 進行測試，而第二個 AI 的任務是讓第一個 AI 嘗試說出所有可能的壞話，然後他們可以進行數百萬次的互動。你實際上可以讓兩個 AI 共同演化。一個持續攻擊另一個，並提出不僅一個角度，而是許多不同的角度，因此有彩虹的比喻。然後你可以讓第一個 AI 免疫，變得越來越安全。這個想法來自 Tim Rocktaeschel，現在已經被所有主要實驗室採用。你怎麼知道這件事完成了？我想這件事永遠不會完成。有些事情永遠不會完成。你總是能變得更聰明，總是能變得更擅長程式設計與數學等等。雖然智能是有一定邊界的，我現在實際上正在試圖形式化這些邊界，但這些邊界是非常巨大的。我們離這些極限還非常遠。作為一個新實驗室，感覺你應該做一些主要實驗室不做事情。因此其中的含義是，你不認為主要實驗室會透過他們目前的做法達到遞歸自我改進（RSI）。這個說法公平嗎？我無法評論他們正在做什麼，但我認為我們是以不同的方式接近這個目標。我們非常贊成開放性的概念，而且我們的團隊完全專注於這個願景。這個團隊已經研究這個領域並發表相關論文達十年之久。這個團隊有著非常強的實績，他們推動這個領域向前發展，並實際上推出了產品。Tim Shi 把 Cresta 建成了一家獨角獸企業。Josh Tobin 是 OpenAI 的早期員工之一，後來領導他們的 Codex 團隊與深度研究團隊。我有時會對這個「新實驗室」的類別感到一些困惑。我覺得我們不只是個實驗室。我希望我們成為一家真正有價值的公司，推出人們喜愛使用的、對人類有正面影響的產品。你們什麼時候會推出第一個產品？我考慮過這個問題很多次。團隊已經取得了如此多的進展，我們實際上可能會調整原來預期的時間表。但確實會有產品，你得等幾個季度，而不是好幾年。關於遞歸自我改進的一個想法是，一旦我們擁有這樣的系統，計算力就會成為唯一的關鍵資源。你運行這個系統越快，它就會改進得越快，而外部的人類活動對結果的影響將非常有限。因此這場競賽就變成了一個問題：我們能投入多少計算資源？你認為我們正朝這個方向前進嗎？計算力不容忽視。我想未來一個非常重要的問題將是：人類願意投入多少計算資源來解決哪些問題？這裡有一種癌症，這裡有一種病毒——你想要先解決哪一種？你願意投入多少計算資源給它？這最終會變成資源配置的問題。這將是世界上最重要的問題之一。