跳到主要内容
检索

Mahsa Salmani

1 篇关联报道

订阅更新
  1. arXiv

    4比特推理不再需要校准数据:权重误差最小化顺带给出激活缩放,MX与NV格式上追平SmoothQuant

    低比特推理要同时量化权重和激活,而激活量化通常依赖校准数据。DualQuant把权重重建误差最小化写成带格式约束的非凸问题,用块坐标下降求闭式解,得到的列缩放同时充当激活缩放。在Llama与Qwen的四种4比特格式上,它无需校准数据即可追平或超过基于校准的SmoothQuant,并明显优于免校准基线,在MX与NV块格式上优势最大。

已读完全部报道