跳到主要内容
返回时间线
arXiv来源发表:

KVPath把各层键值缓存连成一条路径:GQA缓存最多省68%,困惑度不升反降

核心概要

KVPath 不再为每个 Transformer 层单独缓存一份完整的键值表示,而是把同一 token 跨层的键值状态连成一条路径:首层存一份全维基础键值,后续各层只生成低维增量来更新前一层状态。在参数量对齐的 12 层小模型上,残差与滚动两种变体在 GQA 下把 KV 缓存最多削减 68.65%,在 MLA 下削减 54.90%,平均困惑度与标准 GQA、MLA 持平或更低。

Source-provided article image: KVPath: Connecting Key-Value Representations Across Transformer Layers
arXiv

深度剖析

长上下文推理中,键值缓存随序列长度和网络深度线性增长,是显存的主要瓶颈;KVPath 让每层不再独立保存一份完整键值,而是只保存首层的基础键值和后续各层的低维增量。 此前的跨层做法要么让多层共用同一份键值,要么把相邻层的键值合并或联合分解到共享低秩子空间,各层表示仍被当作彼此独立的静态副本或近似。 在参数量同为 98,710,016 的 12 层 GQA 模型上,残差变体 ResGQA 与滚动变体 RollGQA 在 32K 上下文把缓存降到 GQA 的 31.35%,平均困惑度分别比 GQA 低 3.48% 和 0.52%。

每层的键值状态由上一层状态加上一个从当前隐藏状态投影出的低维增量得到,因此缓存里只需保留一份全维基础键值和一串紧凑增量。 残差变体把低维增量上投影回全维后直接加到前一层状态上;滚动变体把状态切成若干窄槽,每层丢掉最旧的槽并追加一个新槽,从而始终保留全维状态。 在 MLA 上,ResMLA 与 RollMLA 在 2K、8K、32K 三个上下文长度把缓存分别削减 53.44%、54.61%、54.90%,平均困惑度降幅为 1.69%、1.38%、1.20% 与 0.96%、0.98%、0.82%,且都优于同样参数预算下的跨层潜变量共享基线 CLLA。

路径结构在更大模型上仍成立:0.6B 参数的 RollGQA 在四个困惑度基准和三个上下文长度上都低于同参数量的 GQA。 小模型上的收益此前只在约 1 亿参数规模验证,0.6B 规模只测了滚动变体。 在 606,405,632 参数的 32 层模型上,RollGQA 在 2K、8K、32K 的平均困惑度分别降低 1.83%、2.32%、2.45%,32K 时缓存比 GQA 少 72.27%;八项零样本下游任务中六项准确率更高,LAMBADA 目标词困惑度从 28.97 降到 25.79,PIQA 与 WinoGrande 上 GQA 更好。

启示与展望

实验覆盖 12 层、约 1 亿参数的 GQA 与 MLA 模型,以及一个 0.6B 参数的 32 层 GQA 模型,训练数据为 FineWeb-Edu,评测为 C4、FineWeb-Edu、Wikipedia、PG-19 上的 GPT-2 词级困惑度与八项零样本任务。报告的是紧凑缓存的理论占用,不是吞吐或端到端服务性能。

作者说明受算力限制,实验只到约 0.6B 参数,更大规模下质量与缓存收益是否保持仍待评估;尚未针对 KVPath 开发专用注意力内核,因此只报告缓存占用而不报告吞吐。消融中增量维度从 8 增到 32 时缓存占比从 20.48% 升到 54.85%,但困惑度并不随维度单调变化。