ProQuant把多模态大模型压到4比特:Qwen3-VL-2B平均精度只掉约1个点
面向边缘设备的小规模多模态大模型在低比特量化下精度骤降,ProQuant把量化感知训练拆成两步:先用目标模型重新生成开源多模态数据的回答,让微调数据分布贴近预训练分布;再按视觉敏感度先量化视觉关键层、后逐步放开文本敏感层。在Qwen3-VL-2B-Instruct的W4A8设置下,平均精度比全精度只低约1个点,W4A4下平均精度为59.83,而PTQ基线MBQ仅6.37。
面向边缘设备的小规模多模态大模型在低比特量化下精度骤降,ProQuant把量化感知训练拆成两步:先用目标模型重新生成开源多模态数据的回答,让微调数据分布贴近预训练分布;再按视觉敏感度先量化视觉关键层、后逐步放开文本敏感层。在Qwen3-VL-2B-Instruct的W4A8设置下,平均精度比全精度只低约1个点,W4A4下平均精度为59.83,而PTQ基线MBQ仅6.37。
已读完全部报道