2比特KV缓存不再只靠旋转:RoLaQ把量化范围一起校准,三个MLA模型六项基准平均分最高
多首潜在注意力(MLA)把每个token的键值缓存压成一个共享潜在向量,压到2比特时,这个向量的误差会同时扰动注意力匹配和值读出。RoLaQ在冻结的键、值投影所定义的子空间内细化一个共享旋转,并联合学习量化阈值与重建增益,使两者耦合以控制共享信号的响应。在DeepSeek-V2-Lite、Moonlight-16B-A3B和MiniCPM3-4B三个模型、六项基准上,它在不保护token和保留部分token两种设置下都取得所比较2比特方法中最高的平均准确率;不保护token时比最强基线高1.1到3.8分。