2比特KV缓存不再只靠旋转:RoLaQ把量化范围一起校准,三个MLA模型六项基准平均分最高
核心概要
多首潜在注意力(MLA)把每个token的键值缓存压成一个共享潜在向量,压到2比特时,这个向量的误差会同时扰动注意力匹配和值读出。RoLaQ在冻结的键、值投影所定义的子空间内细化一个共享旋转,并联合学习量化阈值与重建增益,使两者耦合以控制共享信号的响应。在DeepSeek-V2-Lite、Moonlight-16B-A3B和MiniCPM3-4B三个模型、六项基准上,它在不保护token和保留部分token两种设置下都取得所比较2比特方法中最高的平均准确率;不保护token时比最强基线高1.1到3.8分。
深度剖析
2比特MLA缓存的校准从只调旋转扩展到旋转与量化范围一起调,三个MLA模型在六项基准上的平均准确率都高于所比较的2比特方法。 此前的旋转类方法主要面向键、值分开缓存的多头或分组查询注意力,OSCAR虽为共享缓存提供协方差感知旋转,但量化范围不随旋转一起学习。 不保护token时,RoLaQ在DeepSeek-V2-Lite、Moonlight-16B-A3B和MiniCPM3-4B上的六项平均分别为46.7、60.1和59.4,比最强基线高3.8、2.8和1.1分;保留4个sink与16个近期token后,三个模型上仍是最高平均。
做法是在冻结的键、值投影给出的方向上划分旋转搜索空间,并让每层的量化阈值决定重建增益,使量化后的共享信号保持单位线性响应。 旋转会改变量化器看到的输入分布,因此阈值不能沿用固定值;把增益与阈值耦合,可以在调整判决边界的同时锚定共享信号中与输入对齐的分量。 校准用1.43M个Pile token、模型权重冻结,16B模型约22分钟、MiniCPM3约34分钟,单张A100完成;消融中旋转与范围同时学习时DeepSeek-V2-Lite的MBPP从初始化39.4升到44.0,只学旋转为41.6。
启示与展望
演示范围是DeepSeek-V2-Lite、Moonlight-16B-A3B和MiniCPM3-4B三个MLA模型上的2比特内容缓存,RoPE键保持BF16,评估用Hugging Face Transformers模拟量化,服务测量在单张A100 80GB上以DeepSeek-V2-Lite完成。
位置键与分组元数据仍占剩余缓存的相当份额,进一步压缩需要内容与位置精度协同;低比特缓存的服务收益依赖硬件与负载,短上下文时量化与解包开销可能抵消带宽节省。
