跳到內容

架構

Encoder(編碼器)

Encoder

將輸入資料轉換成濃縮向量表示的神經網路元件,用來抓取輸入的語意。

登入以收藏
**Encoder(編碼器)** 是神經網路中負責把原始輸入——文字、圖片、聲音——壓縮成向量的部分,這個向量抓住了輸入的語意,方便模型後續處理。它的輸出通常稱為 embedding 或隱藏表示(hidden representation)。 Encoder 之所以重要,是因為現代 AI 系統幾乎都有它的身影。BERT 就是純 encoder 模型,廣泛用於搜尋、分類和相似度計算;CLIP 則用兩個 encoder 分別處理圖片和文字,把它們映射到同一個向量空間。在 encoder-decoder 架構(最初的 Transformer、T5、多數翻譯模型)中,encoder 負責讀懂來源,decoder 負責產生輸出。 一個直覺的比喻:你要翻譯一段文章,會先仔細讀過、在腦中形成理解——這就是 encoder 在做的事;接著根據這份理解寫出譯文——這是 decoder。中間那份「腦中的理解」就是編碼後的表示:不是原文字本身,但足以讓你重現或處理它。 現代 decoder-only 的 LLM(如 GPT、Claude)雖然沒有獨立的 encoder 區塊,但前幾層其實也在做類似的事,把 token 轉成富含上下文的表示。 延伸閱讀:decoder、embedding、Transformer、BERT、encoder-decoder 架構、attention 機制。

最後更新: 2026-04-29

We use cookies

Anonymous analytics help us improve the site. You can opt out anytime. Learn more