湧現能力 (Emergent abilities)

大模型才會突然出現、小模型完全沒有的能力，例如多步推理、程式碼生成、follow 沒看過的指令。

Emergent abilities（湧現能力）是 LLM 在小模型完全看不到、跨過某個規模或訓練門檻後才出現的能力——有時是急遽出現的。多步算術、罕見語言對的翻譯、follow 沒看過的多步指令、基礎程式碼生成：這些在某個規模以下的模型完全不會或接近隨機，跨過門檻後就跳到可用水準。它重要的原因是：湧現是現代 LLM 最令人驚訝的特徵之一，也是為什麼規模化推動進展的關鍵原因。你沒辦法從 1B 參數模型預測 100B 模型會做算術——但它真的會。這種不可預測也是實驗室對繼續放大保持謹慎的原因；你沒辦法排除新的湧現行為，包括不想要的。舉個例子：GPT-2（1.5B）基本不會多位數乘法。GPT-3（175B）配合 chain-of-thought prompting 常能算對。同樣的模式在幾十種能力上都看到——小規模沒有、大規模有，門檻依任務不同。爭論：2023 年 Stanford 一篇論文認為部分「湧現」是評估指標計算方式造成的假象（accuracy 的硬門檻讓平滑的底層進步看起來像突然跳一階）。但實務觀察——大模型會的事小模型不會——顯然成立。延伸閱讀：scaling laws、frontier model、in-context learning。