DeepSeek V4 上週發布,技術圈最常被討論的不是它做了什麼,而是它沒做什麼。
去年中,DeepSeek 跟北京大學聯合開源 Engram——一個外掛在 transformer 上的知識查表模組,把死的事實(歷史日期、API 簽名、定理)從模型權重搬出來,改放可寫入的記憶池。「能查的就別算」,在前向傳播每一層動態決定要不要走檢索路徑。論文披露的數字很硬:Engram-27B 比同尺寸基準在 MMLU 提 3.4、CMMLU 提 4.0、BBH 提 5.0、HumanEval 提 3.0、MATH 提 2.4;Multi-Query NIAH 從 84.2% 直接拉到 97.0%——意思是長上下文中針對性檢索的準確率接近天花板。
但 V4 技術報告完全沒提 Engram。社群一開始以為是冷處理,後來才發現是預期內的工程取捨——V4 主打通用推理,Engram 還在從單機切片擴到跨機 CXL 內存池的階段。
三篇後續論文補上了這個落差:CXL 內存池能跑到 512GB/s 帶寬、端到端吞吐損失 5% 以內;無衝突熱層實驗解決多查詢同時打到熱條目的鎖競爭;視覺 Tiny Engram 把同樣概念拓展到圖像分塊檢索。把這三塊湊起來,V4.5 大概率會把 Engram 收進主線——這也是社群把「沒收進去」叫遺憾的原因:不是設計失誤,是時間沒對上。