KVPath把各层键值缓存连成一条路径:GQA缓存最多省68%,困惑度不升反降
KVPath 不再为每个 Transformer 层单独缓存一份完整的键值表示,而是把同一 token 跨层的键值状态连成一条路径:首层存一份全维基础键值,后续各层只生成低维增量来更新前一层状态。在参数量对齐的 12 层小模型上,残差与滚动两种变体在 GQA 下把 KV 缓存最多削减 68.65%,在 MLA 下削减 54.90%,平均困惑度与标准 GQA、MLA 持平或更低。
KVPath 不再为每个 Transformer 层单独缓存一份完整的键值表示,而是把同一 token 跨层的键值状态连成一条路径:首层存一份全维基础键值,后续各层只生成低维增量来更新前一层状态。在参数量对齐的 12 层小模型上,残差与滚动两种变体在 GQA 下把 KV 缓存最多削减 68.65%,在 MLA 下削减 54.90%,平均困惑度与标准 GQA、MLA 持平或更低。
已读完全部报道