TODAY · 今日 AI

智譜公開 GLM-5 推理「降智」根因:KV Cache 競爭條件

智譜工程團隊在自家技術部落格公開 GLM-5 系列在 coding agent 高負載時遇到的三類異常:亂碼、復讀、生僻字。根因追到 PD 分離架構下 KV Cache 寫入的競爭條件,以及 HiCache 載入跟運算重疊的時序問題。解法是強制同步 + 重新設計 LayerSplit 分層存儲。智譜原話:「我們的推理基礎設施正承受著前所未有的壓力,每天都要服務數億次 Coding Agent 調用」。對中文圈意義:第一手公開的中國模型廠生產級推理除錯紀錄,任何自架大模型推理服務的團隊都該讀。