循环Transformer的KV缓存压到0.5比特:LoopVQ让Ouro-1.4B在GSM8K保住75.82分,CQ只有46.78分
核心概要
循环Transformer复用同一批层,参数省了,但每个循环步仍各存一份键值缓存,缓存随循环步数线性增长,成为显存瓶颈。LoopVQ把相邻多个循环步的通道编进同一个子向量、共用一个码本索引,再用码本微调对齐全精度输出。在Ouro-1.4B上,0.5比特/元素时GSM8K得75.82分,而面向普通LLM的CQ与TaSQ分别只有46.78和57.32分。
深度剖析
循环Transformer的键值缓存可以沿循环轴压缩:多个循环步的通道共享一个码本索引,每个元素仍只占0.5比特甚至0.25比特。 此前的KV缓存向量量化按通道分组、每个循环步单独学码本,把各循环步当作互不相关的缓存处理,低于1比特/元素时精度大幅下降。 在Ouro-1.4B的通用基准上,0.5比特时LoopVQ的GSM8K为75.82、MATH500为69.40、HumanEval为63.41,CQ为46.78、17.80、14.63,TaSQ为57.32、38.80、24.39;BF16为78.77、77.20、73.17。
做法是把连续若干个循环步的同一批通道拼成一个耦合向量,整体查表编码,再让码本去拟合全精度模型的输出分布。 耦合向量由多个循环步的坐标组成,一个索引同时服务这些循环步,比特数不变;码本先用Fisher加权k-means初始化,再在冻结权重下最小化量化模型与全精度模型输出之间的KL散度。 在Ouro-1.4B上,码本微调把与全精度输出的KL散度大约减半;消融显示耦合贡献了大部分增益,微调在HumanEval上进一步提分,两者合用在每个设置下最好或并列最好。
启示与展望
演示范围限于Ouro-1.4B、Ouro-2.6B与Huginn-3.5B三类循环模型,精度在通用、长思维链推理与长上下文检索基准上以准确率衡量,效率在单张RTX 6000 Ada上测量、A100结果列于附录。效率对照只与SGLang中的BF16服务比较,未纳入基线量化方法。
效率评估只与BF16服务对比,未与基线量化方法比较,因为各方法的服务效率取决于为其缓存格式专门优化的核。精度也未与FlashLoop和ResidualQuant这两个面向循环模型的标量量化方法对比,它们按2到4比特设计,没有更低比特的配置。校准集从8条增到32条时精度持续上升,说明结果对校准规模仍有依赖。
