跳到主要内容
返回时间线
arXiv来源发表:

投机解码的草稿缓存压到4比特:草稿缓存省66.20%,平均接受率相对只降1.36%

核心概要

两模型投机解码要为草稿模型和目标模型各存一份KV缓存,草稿缓存因此成为额外内存开销。研究把草稿缓存量化为K4V4,键按32个token分组的逐通道仿射量化、值逐token量化,目标缓存与验证器保持BF16,使目标模型的纠正规则不受压缩影响。六个模型对上草稿缓存字节减少66.20%、两份缓存合计减少23.95%,平均接受率从57.93%降到57.14%,相对降幅1.36%。

深度剖析

投机解码的额外内存可以只从草稿一侧削减:草稿缓存被压到4比特键和4比特值,目标模型的缓存与验证器仍保持BF16。 标准投机解码同时保存目标缓存和草稿缓存,随上下文长度与批大小增长而加重内存压力;此前的KV缓存量化多针对单模型推理,精度分配常按启发式决定。 在Qwen2.5、Qwen3、Llama 3、OLMo 2、SmolLM2的六个目标/草稿模型对上,K4V4把草稿缓存字节减少66.20%,两份缓存合计减少23.95%,各模型对之间的合计节省从11.30%到33.17%。

压缩几乎没有牺牲草稿质量:跨模型对的平均接受率从57.93%降到57.14%,相对下降1.36%。 接受率是目标模型接受草稿提议token的比例,直接决定投机解码能省下多少目标前向;此前的担心是键对噪声更敏感,压低键精度会明显拉低接受率。 在WikiText-2上,K4V4草稿相对BF16草稿的KL为0.00730,top-1一致率95.99%;在Qwen2.5 3B/1.5B一对模型、256 token续写上,接受率变化区间包含零,顺序验证器下输出与仅用目标模型的贪心解码一致。

键和值之间该给谁更多比特,取决于量化器的几何布局,而不是注意力本身固定要求键更高精度。 用朴素的逐token对称量化时,键显得远比值敏感:等平均比特下K8V4比K4V8平均高10.87个百分点。 换成按32个token分组的逐通道键量化后,这一优势消失,所有模型对内差距都低于1个百分点;只改键量化器的受控Qwen实验里,K8V4对K4V8的差距随之改变,K4V2对K2V4的对比还发生符号反转。

启示与展望

结论建立在六个目标/草稿模型对、1K上下文以及Qwen2.5 3B/1.5B一对模型上的16K与32K上下文,全部为贪心解码、批大小一;32K下打包K4V4把每序列896.0 MiB的BF16缓存降到260.2 MiB。读者若关心服务端收益,需要等精确的批量验证器、流式预填和融合的打包缓存注意力核。

最长上下文的实验提示数少于1K研究,检索任务部分是合成的;质量实验用的是伪量化,只测质量不测生产速度。打包原型仍慢于BF16投机解码且未降低峰值显存,256 token与原型实验只覆盖一对模型、批大小一,用于RQ1的批量验证器尚不精确。研究没有直接测量键的离群值,键与值在未测试的设置里仍可能有内在差异。