跳到內容

其他

湧現能力 (Emergent abilities)

Emergent abilities

大模型才會突然出現、小模型完全沒有的能力,例如多步推理、程式碼生成、follow 沒看過的指令。

登入以收藏
Emergent abilities(湧現能力)是 LLM 在小模型完全看不到、跨過某個規模或訓練門檻後才出現的能力——有時是急遽出現的。多步算術、罕見語言對的翻譯、follow 沒看過的多步指令、基礎程式碼生成:這些在某個規模以下的模型完全不會或接近隨機,跨過門檻後就跳到可用水準。 它重要的原因是:湧現是現代 LLM 最令人驚訝的特徵之一,也是為什麼規模化推動進展的關鍵原因。你沒辦法從 1B 參數模型預測 100B 模型會做算術——但它真的會。這種不可預測也是實驗室對繼續放大保持謹慎的原因;你沒辦法排除新的湧現行為,包括不想要的。 舉個例子:GPT-2(1.5B)基本不會多位數乘法。GPT-3(175B)配合 chain-of-thought prompting 常能算對。同樣的模式在幾十種能力上都看到——小規模沒有、大規模有,門檻依任務不同。 爭論:2023 年 Stanford 一篇論文認為部分「湧現」是評估指標計算方式造成的假象(accuracy 的硬門檻讓平滑的底層進步看起來像突然跳一階)。但實務觀察——大模型會的事小模型不會——顯然成立。延伸閱讀:scaling laws、frontier model、in-context learning。

最後更新: 2026-04-29

We use cookies

Anonymous analytics help us improve the site. You can opt out anytime. Learn more

湧現能力 (Emergent abilities) · BuilderWorld