人工智慧正在改變世界，同時也在發明一種全新的語言來描述它正在做什麼。花五分鐘閱讀關於人工智慧的文章，你會遇到LLMs、RAG、RLHF和其他數十個術語，這些術語甚至讓許多在科技領域非常聰明的人感到不安。這本詞典就是我們嘗試解決這個問題的嘗試。我們會隨著這個領域的發展定期更新這份詞典，因此請將其視為一種活的文件，就像它所描述的人工智慧系統一樣。
人工一般智慧（AGI） 人工一般智慧，或AGI，是一個模糊的術語。但它通常指的是在許多（如果不是大多數）任務上，能力超過平均人類的AI。OpenAI首席執行官Sam Altman曾將AGI描述為「可以聘請作為同事的中位數人類」。同時，OpenAI的章程將AGI定義為「遠超人類在大多數經濟上有價值的工作表現的高自主性系統」。Google DeepMind對這個定義則稍有不同；該實驗室將AGI視為「在大多數認知任務上至少與人類一樣有能力的AI」。混淆了嗎？別擔心——這也是AI研究領域前線專家感到困惑的問題。
AI代理 AI代理指的是使用AI技術來為你執行一系列任務的工具——這遠遠超出了更基礎的AI聊天機器人所能完成的範圍，例如報銷費用、預訂車票或餐廳座位，甚至撰寫和維護程式碼。然而，正如我們之前解釋過的，這個興起領域中有很多變數，因此「AI代理」對不同人來說可能意味著不同的東西。基礎設施仍在建設中，以實現其預期的能力。但基本概念暗示了一個自主系統，這個系統可能透過多個AI系統來執行多步驟任務。
API端點 將API端點視為軟體後面的「按鈕」，其他程式可以按這些按鈕讓軟體執行動作。開發者使用這些介面來建立整合——例如，允許一個應用程式從另一個應用程式中提取數據，或讓AI代理直接控制第三方服務，而無需人類手動操作每個介面。大多數智能家庭設備和連接平台都有這些隱藏的按鈕可用，即使普通用戶從來沒有看過或與其互動過。隨著AI代理變得越來越有能力，它們越來越能夠自行找到並使用這些端點，這為自動化打開了強大——有時甚至是意想不到——的可能性。
思考鏈 給出一個簡單的問題，人類大腦可以不經過太多思考就回答——例如，「哪種動物更高，長頸鹿還是貓？」但在許多情況下，你往往需要一支筆和紙才能得出正確答案，因為有中間的步驟。例如，如果一個農民有雞和牛，他們總共有40個頭和120條腿，你可能需要寫下一個簡單的方程式來得出答案（20隻雞和20隻牛）。在AI的背景下，大型語言模型的思考鏈推理意味著將問題分解為較小的中間步驟，以提高最終結果的質量。雖然得到答案的時間較長，但答案更有可能正確，尤其是在邏輯或程式設計的背景下。推理模型是從傳統的大型語言模型中發展而來，並透過強化學習進行優化，以進行思考鏈思考。（見：大型語言模型）
程式碼代理 這是一個比「AI代理」更特定的概念，意味著一個可以逐步執行動作以完成目標的程式。程式碼代理是應用於軟體開發的專門版本。與僅建議人類審閱並貼入程式碼不同，程式碼代理可以自主撰寫、測試和除錯程式碼，處理通常消耗開發者一天時間的迭代、試錯工作。這些代理可以在整個程式碼庫中運作，發現錯誤、執行測試並推進修復，幾乎不需要人類監督。可以將其視為聘請一個從不睡覺、從不失去專注力的非常快的實習生——雖然與任何實習生一樣，人類仍然需要審閱工作。
計算 雖然這個詞有一定程度的多重意義，但計算通常指的是讓AI模型運作所必需的關鍵計算能力。這種處理能力推動了AI產業，使其有能力訓練和部署其強大的模型。這個詞通常簡稱為提供計算能力的硬體類型——例如GPU、CPU、TPU和其他形式的基礎設施，這些基礎設施構成了現代AI產業的基石。
深度學習 深度學習是自我改進機器學習的一個子集，其中AI演算法被設計成具有多層人工神經網絡（ANN）結構。這讓它們能夠做出比簡單機器學習系統（如線性模型或決策樹）更複雜的相關聯，例如線性模型或決策樹。深度學習演算法的結構從人類大腦中神經元的相互連接路徑中獲得靈感。深度學習AI模型能夠自行識別數據中的重要特徵，而不是讓人類工程師定義這些特徵。結構還支持可以從錯誤中學習並通過重複和調整過程來改進自身輸出的演算法。然而，深度學習系統需要大量的數據點才能產生良好的結果（數百萬或更多）。與較簡單的機器學習演算法相比，它們通常需要更長的訓練時間——因此開發成本往往更高。（見：神經網絡）
擴散 擴散是許多圖像、音樂和文本生成AI模型的核心技術。它受到物理學的啟發，通過逐步「破壞」數據的結構——例如照片、歌曲等——通過添加噪音直到什麼都不存在。在物理學中，擴散是自然且不可逆的——糖溶解在咖啡中無法恢復為立方體。但在AI中，擴散系統旨在學習一種「反向擴散」過程來恢復被破壞的數據，從而獲得從噪音中恢復數據的能力。
蒸餾 蒸餾是一種從大型AI模型中提取知識的技術，採用「教師-學生」模型。開發者向教師模型發送請求並記錄輸出。有時會將答案與數據集進行比較以查看準確度。這些輸出然後用來訓練學生模型，學生模型被訓練以近似教師的行為。蒸餾可以用來根據較大的模型創建一個較小、更高效的模型，並在蒸餾損失最小的情況下進行。這可能是OpenAI開發GPT-4 Turbo（GPT-4的更快版本）的方式。雖然所有AI公司內部都使用蒸餾，但它也可能被一些AI公司用來追趕前沿模型。從競爭對手那裡蒸餾通常違反AI API和聊天助手的服務條款。
微調 這指的是進一步訓練AI模型以優化其在特定任務或領域的表現，這通常是其訓練的重點。通常通過輸入新的、專門的（即任務導向的）數據來實現。許多AI創業公司以大型語言模型為起點來建立商業產品，但他們爭相通過在早期訓練週期中加入微調，根據自己的領域知識和專業知識來提高實用性。
生成對抗網絡（GAN） GAN，或生成對抗網絡，是一種機器學習框架，是生成AI在產生逼真數據方面的重要發展基礎——包括（但不僅限於）深度假造工具。GAN涉及使用一對神經網絡，其中一個網絡利用其訓練數據生成輸出，並將其傳遞給另一個網絡進行評估。這兩個模型基本上被編程為試圖超越彼此。生成器試圖讓其輸出通過鑑別器，而鑑別器則試圖識別人工生成的數據。這種結構化的競爭可以優化AI輸出，使其更加逼真，而無需額外的人類干預。雖然GAN在較窄的應用（如產生逼真的照片或視頻）上表現最佳，而不是通用AI。
幻覺 幻覺是AI產業中對AI模型編造虛假資訊的偏好術語——即實際產生錯誤資訊。顯然，這對AI質量是一個巨大的問題。幻覺產生的生成AI輸出可能導致誤導，甚至導致現實風險——有潛在的危險後果（想想一個健康查詢返回有害的醫療建議）。AI編造資訊的問題被認為是出於訓練數據中的遺漏。幻覺正在推動越來越多專門化和/或垂直AI模型的發展——即需要較窄專業知識的領域特定AI——作為減少知識缺口和縮小誤導風險的方法。
推理 推理是運行AI模型的過程。這是指將模型釋放出去，使其根據之前看到的數據進行預測或得出結論。請明確，推理無法在未訓練的情況下進行；模型必須在數據集上學習模式，才能有效地從這些訓練數據中進行外推。許多類型的硬體都可以執行推理，從智能手機處理器到強大的GPU，再到專門設計的AI加速器。但並非所有硬體都能同樣有效地運行模型。非常大的模型在筆記本電腦上進行預測可能需要很長時間，而在擁有高端AI晶片的雲端伺服器上則會快得多。[見：訓練]
大型語言模型（LLM） 大型語言模型，或LLMs，是用於流行AI助手的AI模型，例如ChatGPT、Claude、Google的Gemini、Meta的AI Llama、Microsoft Copilot或Mistral的Le Chat。當你與AI助手聊天時，你與處理你請求的大型語言模型互動，或者在幫助下使用不同的可用工具，例如網頁瀏覽或代碼解釋器。LLMs是由數十億個數值參數（或權重，見下文）組成的深度神經網絡，學習詞語和短語之間的關係，並創建語言的表示，一種詞語的多維度地圖。這些模型是從編碼數十億本書、文章和轉錄本中發現的模式中創建的。當你提示LLM時，模型會生成最符合提示的模式。（見：神經網絡）
記憶快取 記憶快取是指一個重要的過程，用來提高推理（即AI用來生成對用戶查詢的回應的過程）效率。簡而言之，快取是一種優化技術，設計用來使推理更有效率。AI明顯是由高強度的數學計算驅動的，每次這些計算被執行時，都會消耗更多功率。快取的設計是通過儲存特定計算以供未來用戶查詢和操作，來減少模型必須執行的計算次數。雖然有不同類型的記憶快取，但其中較為人知的是KV（或關鍵值）快取。KV快取在基於變換器的模型中運作，並提高效率，通過減少生成用戶問題回應所需的時間（和演算法勞動力）來實現更快的結果。（見：推理）
神經網絡 神經網絡指的是支撐深度學習——以及更廣泛的生成AI工具興起的整個爆發的多層次演算法結構。雖然從人類大腦中密集相互連接的路徑中獲得靈感作為數據處理演算法的設計結構的想法可以追溯到1940年代，但真正讓這理論發揮作用的是圖形處理硬體（GPU）——通過視頻遊戲產業——的興起。這些晶片被證明非常適合訓練層數遠多於早期時代的演算法——這使得基於神經網絡的AI系統在許多領域實現了遠遠更好的表現，包括語音識別、自動導航和藥物發現。（見：大型語言模型 [LLM]）
開放源碼 開放源碼指的是軟體——或越來越常見的AI模型——其底層代碼對任何人開放，供使用、檢查或修改。在AI領域，Meta的Llama系列模型是一個顯著的例子；Linux是操作系統領域的著名歷史對應。開放源碼方法允許全球的研究人員、開發者和公司建立在彼此的工作之上，加速進展並實現閉源系統無法輕易提供的獨立安全審計。閉源意味著代碼是私有的——你可以使用產品但看不到它是如何運作的，就像OpenAI的GPT模型一樣——這成為AI產業中最具爭議的議題之一。
並行化 並行化意味著同時做很多事情，而不是一個接一個地做——就像有10個員工同時處理專案的不同部分，而不是一個員工按順序做所有事情。在AI中，並行化是訓練和推理的基礎：現代GPU專門設計用來同時執行數千個計算，這也是它們成為產業硬體基礎的原因之一。隨著AI系統變得越來越複雜，模型變得越來越大，跨多個晶片和多個機器並行化工作的能力成為決定模型可以多快且多有效地建立和部署的最重要因素之一。研究更好的並行化策略現在成為一個獨立的研究領域。
RAMageddon RAMageddon是這個不太樂觀趨勢的有趣新名詞：隨時間推移，隨機存取記憶體（RAM）晶片的供應越來越緊張，這些晶片驅動我們日常使用的幾乎所有科技產品。隨著AI產業的興起，最大的科技公司和AI實驗室——所有都在爭取最強大且高效的AI——購買了如此多的RAM來運行他們的數據中心，導致剩餘的RAM對我們來說越來越少。這種供應瓶頸意味著剩下的RAM越來越昂貴。這包括遊戲產業（其中大型公司不得不提高遊戲機的價格，因為他們難以找到設備所需的記憶體晶片）、消費電子產業（其中記憶體短缺可能導致過去十年來最大的智慧型手機出貨量下滑）以及一般企業計算（因為這些公司無法獲得足夠的RAM來運行他們自己的數據中心）。價格的上升預計只會在可怕的短缺結束後才會停止，不幸的是，目前並沒有明顯跡象顯示這會很快發生。
遞歸自我改進 與AGI一樣，遞歸自我改進是決定AI有多聰明以及多麼少依賴人類的門檻。在RSI情境中，AI模型在沒有人類干預的情況下開始自我改進，導致能力和自主性大幅提升。在一些說法中，這會是一個類似奇點的災難性時刻，一個AI模型變得對外部干預免疫的時刻。但RSI也描述了一種基本能力——AI模型能否設計自己的繼任者？——這讓工程師更容易嘗試構建它。許多最近的AI創業公司已經設立了目標，建立遞歸自我改進的模型，但大多數人否認末日的影響，將RSI簡單地視為研究的下一個前沿。
強化學習 強化學習是一種訓練AI的方式，其中系統通過嘗試事情並獲得正確答案的回報來學習——就像用零食訓練你心愛的寵物一樣，只是這裏的「寵物」是一個神經網絡，而「零食」是一個表示成功的數學信號。與監督學習不同，監督學習是在固定數據集的標籤示例上進行訓練，強化學習讓模型探索環境，採取行動，並根據收到的反饋不斷更新其行為。這種方法在訓練AI玩遊戲、控制機器人以及最近提高大型語言模型的推理能力方面證明特別有效。強化學習從人類反饋（RLHF）等技術現在成為領先AI實驗室調整模型以變得更有幫助、準確和安全的核心方法。
詞元 在人類與機器的溝通中，有一些明顯的挑戰——人類使用人類語言進行溝通，而AI程式則透過數據驅動的複雜演算法過程執行任務。詞元橋接了這個差距：它們是人類與AI溝通的基本構成單位，代表已經由LLM處理或產生的數據片段。它們是透過一個稱為詞元化的過程創建的，這個過程將原始文本分解為語言模型可以消化的微小單位，類似於編譯器將人類語言翻譯成電腦可以理解的二進制代碼。在企業環境中，詞元也決定成本——大多數AI公司根據詞元數量收費，意味著企業使用的越多，支付的費用就越多。
詞元吞吐量 再次，詞元是AI語言模型在處理語言前將語言分解成的微小文本片段——通常是詞的一部分而不是整個詞；它們在理解AI工作負載方面大致類似於「詞」。吞吐量指的是在特定時間內可以處理多少，因此詞元吞吐量基本上是衡量系統一次可以處理多少AI工作的指標。高詞元吞吐量是AI基礎設施團隊的重要目標，因為這決定了模型可以同時服務多少用戶以及每個用戶收到回應的速度。AI研究者Andrej Karpathy曾描述過當他的AI訂閱處於閒置狀態時感到焦慮——這與他作為研究生時高價計算硬體未被充分利用時的感受相似——這種感受解釋了為何最大化詞元吞吐量成為該領域的熱門話題。
訓練 開發機器學習AI涉及一個過程，稱為訓練。簡單來說，這指的是數據被輸入，以便模型可以從模式中學習並產生有用的輸出。簡而言之，這就是系統對數據中特徵做出反應的過程，使它們能夠調整輸出以達到尋求的目標——無論是識別貓的圖片還是按需產生一首俳句。訓練可以很昂貴，因為它需要大量的輸入，而且所需的數據量正在上升——這就是為何混合方法，例如微調基於規則的AI與針對性數據，可以幫助管理成本而不從頭開始。[見：推理]
轉移學習 一種技術，其中一個先前訓練過的AI模型被用作開發新模型的起點，用於不同但通常相關的任務——允許在先前訓練週期中獲得的知識被重新應用。轉移學習可以通過簡化模型開發來實現效率節省。當開發模型的任務數據有限時，這也可能是有用的。但要注意的是，這種方法有其限制。依賴轉移學習來獲得一般能力的模型很可能需要在額外數據上進行訓練，以便在專注領域中表現良好。（見：微調）
驗證損失 驗證損失是一個數字，告訴你AI模型在訓練期間學習得有多好——數字越低越好。研究人員密切追蹤這個數字作為一種實時成績單，用來決定何時停止訓練、調整超參數或調查潛在問題。它幫助標誌出過擬合，這是一種條件，其中模型記憶其訓練數據而不是真正學習可以推廣到新情況的模式。可以將其視為區分真正理解材料的學生和只是記住去年考試的學生——驗證損失幫助揭示出你的模型正在成為哪一種。
權重 權重是AI訓練的核心，因為它們決定在用於訓練系統的數據中，不同特徵（或輸入變數）被賦予多大的重要性——從而塑造AI模型的輸出。換句話說，權重是數值參數，用來定義在給定訓練任務中數據集中最顯著的內容。它們通過對輸入進行乘法運算來實現功能。模型訓練通常從隨機分配的權重開始，但隨著過程的進行，權重會調整，以便模型尋找更接近目標的輸出。例如，一個預測住房價格的AI模型，如果是在某個目標地點的歷史房地產數據上進行訓練，可以包括卧室和浴室數量、房屋是否為聯排或半聯排、是否有停車位或車庫等特徵的權重。最終，模型對這些輸入的權重反映了它們如何根據給定數據集影響房屋價值。