跳到主要内容
返回时间线
arXiv来源发表:

KV缓存压缩不再只挑层或只挑词:MultiAlloc在同等显存下把Llama-3-8B平均分做到46.35

核心概要

大模型长上下文推理时,KV缓存是显存占用的主要来源,而现有量化方法要么按层分配精度、要么按词保留高精度,很少在固定显存预算下把两者放在一起分配。MultiAlloc先用离线剖析估计每层对量化的敏感度和每个词对注意力的重要度,再在预算约束下自动决定多少资源给层精度、多少给高精度词,并把结果固化为推理时不再搜索的静态策略。在Llama-3-8B-Instruct、Mistral-7B、DeepSeek-Qwen-7B/14B和QwQ-32B上,同等KV缓存预算下其平均分高于OTT、PM-KVQ和KVmix,例如Llama-3-8B为46.35,FP16参考为46.17。

Source-provided article image: MultiAlloc: Budget-Aware Precision Allocation for KV Cache Quantization
arXiv

深度剖析

KV缓存量化被重新表述为一个固定显存预算下的精度分配问题:有限的量化资源要在“提高某些层的位宽”和“把少数词以高精度保留”之间分配,而不是只优化其中一种。 此前的层粒度方法按层或块敏感度分配混合精度,但在每层内部对所有词一视同仁;词粒度方法追踪离群词或显著词,却不区分层间敏感度差异;KVmix这类多粒度方法虽同时考虑层重要度和关键上下文选择,其词级适配主要落在上下文选择上,而非按词重要度分配精度。 在Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3、DeepSeek-R1-Distill-Qwen-7B/14B和QwQ-32B五个模型上,各压缩方法在同一KV缓存预算、相同提示与贪心解码下比较,MultiAlloc在全部五个模型上取得压缩方法中最高的平均分。

分配决策全部在离线阶段完成,推理时只执行一份固定的精度策略,因此不需要在生成过程中搜索分配方案。 直接对层位宽配置和词保留配置做联合搜索的组合空间很大,逐一下游评测代价过高,所以改用轻量剖析代理给出候选之间的相对偏好。 层敏感度用校准集上量化扰动的泰勒一阶项幅值估计,词重要度用键向量的激活幅值作为与查询无关的代理,再按组保留重要度最高的若干词;在Llama-3-8B-Instruct、423 MB预算下,去掉任一维度都会使LongBench-v2宏平均下降:仅层分配为25.58,仅词保留为24.88,两者合用为25.85。

在Llama-3-8B-Instruct、423 MB预算下,剖析得到的分配与手工65/35切分表现接近,说明该预算下自动分配恰好落在相近比例附近。 手工切分需要预先指定层精度与词保留各占多少预算,而不同模型、任务和预算下合适的比例并不相同。 GSM8K上手工65/35为80.29、50/50为77.79、35/65为77.41,剖析分配为80.36;LongBench-v2上前三者分别为25.59、25.83、25.56,剖析分配为25.85。

启示与展望

演示范围是五个指令微调模型(7B至32B)在GSM8K、GPQA-Diamond和LongBench-v2上的推理与长上下文评测,所有压缩方法在同一KV缓存预算、相同提示、分词、停止条件和贪心解码下比较,吞吐在单张A100、批大小为1时测量。

剖析阶段带来预处理开销并需要具有代表性的校准数据,且每个模型与任务使用各自的校准集;作者把更轻量的剖析和更好的策略泛化列为后续工作。在14B和32B模型上相对已有方法的增益较小,因为其压缩后表现已接近FP16,作者报告分别缩小了48.2%和52.1%的差距。