GDN循环状态压到4比特:按预测损失分配位宽,近期写入单独留窗,长推理不再卡死
核心概要
线性注意力模型把历史压进固定大小的循环状态,状态一旦低比特量化,写回误差会进入后续每一步递推,长推理任务上分数骤降并出现重复、超长输出。GGA用语言模型损失对写回状态的梯度给各头分配位宽,PW把最近的纯写入以FP8向量对单独保留、按写入年龄滚动并入低比特历史状态。在Qwen3.5-4B/9B的七项评测上,GGA@把宏平均从STEPQuant@的31.44/37.42提升到50.92/67.26,再加PW-S8达到69.83/78.63。
深度剖析
循环状态的比特位不再按局部失真平均分配,而是按每个头对最终预测损失的影响来分配。 此前的STEPQuant用误差持续性和候选重建失真加读出权重来定位风险,在Qwen3.5-4B的诊断分箱里,它对实测影响更高的头反而给的平均位宽更低。 在保持候选量化格式与名义预算不变、只替换分配方式后,Qwen3.5-4B/9B的七任务宏平均从STEPQuant@的31.44/37.42升到GGA@的50.92/67.26。
最近的写入不再立刻进入低比特历史状态,而是作为独立分支保留一个固定长度的窗口。 逐步全状态量化会在当前读出之后马上把新写入并入累积状态,此后它随历史一起被反复量化。 在GGA@之上加PW-S8,4B/9B宏平均升到69.83/78.63;同一提示与随机种子下,HMMT题目的输出从81,921个token、831行连续“Wait.”被重复检测截断,变为57,682个token自然结束并给出答案48。
在存储预算相近时,把多出的容量用于维护近期写入,比单纯提高累积状态的位宽更划算。 提高平均位宽降低的是累积状态的量化失真,而窗口把容量花在延迟近期写入首次被低比特量化的时刻上。 把@与@+PW-S8配对比较,窗口配置多出约1.03比特/值;在STEP与GGA两种分配、两个模型上,窗口配置的宏平均更高、任务等权平均输出更短。
启示与展望
评测覆盖Qwen3.5-4B与Qwen3.5-9B两个模型、AIME 2026、HMMT February 2026、GPQA Diamond、HumanEval+、MATH500、IFBench与LiveCodeBench v6七项任务,以及@、@、@三档名义预算;位宽与FP16枢轴在WikiText-2的32段、每段2048个token上离线标定后冻结,部署时不反向传播。
PW在理想精度下的递推等价性有证明,但有限精度舍入、量化反馈与自由生成中的激活变化不在该等价假设内,因此不保证逐元素误差一定下降。超长输出与重复生成的机制尚未完全刻画,窗口长度、队列精度与分支合并策略的系统实验仍不完整,专用推理内核尚未开发,模型族与对比方法的覆盖也有限。
