跳到内容

架构

Encoder(编码器)

Encoder

将输入数据转换成浓缩向量表示的神经网络组件,用来捕捉输入的语义。

登入以收藏
**Encoder(编码器)** 是神经网络中负责把原始输入——文本、图片、音频——压缩成向量的部分,这个向量抓住了输入的语义,方便模型后续处理。它的输出通常称为 embedding 或隐藏表示(hidden representation)。 Encoder 之所以重要,是因为现代 AI 系统几乎都离不开它。BERT 就是纯 encoder 模型,广泛用于搜索、分类和相似度计算;CLIP 则用两个 encoder 分别处理图片和文本,把它们映射到同一个向量空间。在 encoder-decoder 架构(最初的 Transformer、T5、大多数翻译模型)中,encoder 负责读懂源输入,decoder 负责生成输出。 一个直观的比喻:你要翻译一段文章,会先仔细读过、在脑中形成理解——这就是 encoder 在做的事;接着根据这份理解写出译文——这是 decoder。中间那份「脑中的理解」就是编码后的表示:不是原文字本身,但足以让你重现或处理它。 现代 decoder-only 的 LLM(如 GPT、Claude)虽然没有独立的 encoder 模块,但前几层其实也在做类似的事,把 token 转成富含上下文的表示。 延伸阅读:decoder、embedding、Transformer、BERT、encoder-decoder 架构、attention 机制。

最后更新: 2026-04-29

We use cookies

Anonymous analytics help us improve the site. You can opt out anytime. Learn more

Encoder(编码器) · BuilderWorld