4比特推理不再需要校准数据:权重误差最小化顺带给出激活缩放,MX与NV格式上追平SmoothQuant
核心概要
低比特推理要同时量化权重和激活,而激活量化通常依赖校准数据。DualQuant把权重重建误差最小化写成带格式约束的非凸问题,用块坐标下降求闭式解,得到的列缩放同时充当激活缩放。在Llama与Qwen的四种4比特格式上,它无需校准数据即可追平或超过基于校准的SmoothQuant,并明显优于免校准基线,在MX与NV块格式上优势最大。
深度剖析
低比特推理现在可以完全不用校准数据,同时把权重和激活都压到4比特。此前激活量化依赖校准数据,因为激活张量在特定通道上存在系统性大幅值离群点,这些离群点主导量化网格,使普通通道只剩很少的有效比特。 此前的免校准路线要么只量化权重、把激活留在BF16,要么像QuaRot那样用旋转抑制离群点却不直接针对激活量化误差;能有效处理激活的SmoothQuant和SpinQuant都需要代表性校准数据,带来分布敏感性和数据访问开销。 在Llama与Qwen两个模型族、INT4、MXINT4、MXFP4、NVFP4四种4比特格式上,DualQuant在多数模型和格式上追平或超过基于校准的SmoothQuant,并明显优于免校准的QuaRot与SINQ+;SINQ+在NVFP4上完全发散,QuaRot在NVFP4上同样发散。
做法是把权重重建误差最小化,让求出的列缩放顺带承担激活缩放的角色。 列缩放来自静态权重矩阵本身,而不是来自激活统计量,因此不需要任何校准前向传播、Hessian或内层优化循环。 优化被写成非可微的权重重建问题,用变量分裂把每个缩放拆成控制网格分配的内层副本和控制重建的外层副本,再用块坐标下降交替更新,每个子问题都有闭式解,并在每次更新后把缩放投影到目标格式允许的取值集合上。
权重导出的列缩放对激活量化有真实的、可分离的改善,而不只是权重误差下降的副产品。 在固定量化权重、只改变是否施加列缩放的条件下,激活量化的信噪比出现可测提升。 在Llama-3.1-8B第0块的各投影上,施加列缩放使激活量化信噪比平均提升约0.33 dB,块输出提升约0.54 dB,其中k_proj与v_proj增益最大,而这两处正是激活离群点最明显的投影。
启示与展望
报道覆盖的是免校准的权重与激活联合4比特量化,评测范围是Llama与Qwen两个模型族在WikiText-2、C4上的困惑度,以及MMLU、HellaSwag、PIQA、ARC-Easy、WinoGrande上的零样本准确率,格式包括INT4、MXINT4、MXFP4与NVFP4。部署验证限于Llama-3.1-8B在单张RTX 4090上的INT4分组打包W4A4路径,嵌入层、lm_head与归一化层仍保持BF16。适合关注低比特推理部署与量化算法的研究人员和工程师阅读。
列缩放与SmoothQuant由校准得到的缩放之间的相关性随迁移强度变化,在纯权重导出时接近完全一致,但相关性只是描述性的,并不代表两者量化行为等价。SINQ+在MX与NV格式上的结果来自作者自行扩展,未经原方法作者验证,应视为尽力而为的基线。免校准路线在8比特下相对BF16的提升空间本就有限。
