上下文学习 (In-context learning, ICL)

LLM 在推理时光看 prompt 里的示例就能学会新任务、完全不需要更新权重的能力。

In-context learning 是 LLM 一个很惊人的能力——光靠 prompt 里的示例就能学会新任务，完全不用训练。给 GPT-4 三个自编分类规则的示例，它就能正确分类第四个——不用 fine-tune、没有梯度更新，纯粹推理。这个「学习」完全发生在模型一次 forward pass 之中。它重要的原因是：这是 few-shot prompting 的基础，也是 LLM 这么灵活的关键原因。靠 ICL，一个模型只要看到不同示例就能做几千种任务——翻译、情绪分析、code 风格、自编游戏规则。你不用一个任务训练一个模型。也让 prompt 设计变成某种程序设计。举个例子：自编一个假语言，「glorp」意思是加、「snurf」是两倍。给模型看：「glorp 3 4 = 7。snurf 5 = 10。glorp 2 6 = ?」它会答 8，从来没有对你的假运算符做过训练。模型等于从 prompt 里的三个示例就学会了你的任务。为什么有效还是研究问题——论文解释为模型在隐性执行 meta-learning 算法、或在 activation space 做梯度下降。实务上，它就是 few-shot prompting 之所以有用的原因。延伸阅读：few-shot prompting、emergent abilities、scaling laws、meta-learning。