跳到主要内容
返回时间线
arXiv来源发表:

ProQuant把多模态大模型压到4比特:Qwen3-VL-2B平均精度只掉约1个点

核心概要

面向边缘设备的小规模多模态大模型在低比特量化下精度骤降,ProQuant把量化感知训练拆成两步:先用目标模型重新生成开源多模态数据的回答,让微调数据分布贴近预训练分布;再按视觉敏感度先量化视觉关键层、后逐步放开文本敏感层。在Qwen3-VL-2B-Instruct的W4A8设置下,平均精度比全精度只低约1个点,W4A4下平均精度为59.83,而PTQ基线MBQ仅6.37。

Source-provided article image: ProQuant: Progressive Quantization-aware Training for Edge MLLMs
arXiv

深度剖析

ProQuant让2B到8B参数的多模态大模型在W4A8权重-激活量化下接近全精度表现,并在W4A4下仍保持可用的多模态能力。 此前的训练后量化在W8A8等中等比特下接近无损,但推到W4A8、W4A4时精度明显下降,2B、4B这类更适合边缘部署的小模型退化更严重。 在Qwen3-VL-2B-Instruct上,ProQuant的W4A8平均精度为72.54,全精度为73.63;W4A4下ProQuant平均精度59.83,PTQ基线MBQ为6.37,LLM-QAT在保留8比特down_proj激活时为27.29。

训练分两阶段推进:先修正微调数据的来源分布,再按层逐步打开量化。 直接对多模态理解与语言建模同时做量化感知训练效果次优,而开源多模态数据的标注风格与目标模型输出存在分布差距。 自重新标注方案在Qwen3-VL-2B-Instruct的W4A8与W4A4下分别把平均精度提高1.00和3.36,渐进块激活机制分别提高0.67和3.02,两者合用提高1.44和6.07。

视觉敏感度因子用来给骨干网络中的层排序,决定哪些层先被量化。 第0次迭代的量化基线在HellaSwag上仍保留47.33%的语言先验,但在AI2D上多模态理解降到0%,说明跨模态对齐比语言生成更易受量化噪声影响。 以Qwen3-VL-2B-Instruct的28个解码层为例,视觉敏感块集中在中层,文本敏感块更多分布在浅层和深层;按视觉敏感块优先的调度在多数检查点上恢复多模态理解更快,并在4K迭代时反超文本优先调度。

启示与展望

演示范围是Qwen2-VL-2B、Qwen2.5-VL-3B、Qwen3-VL-2B与Qwen3-VL-8B四类骨干,训练数据改编自LLaVA-680K,评测覆盖AI2D、ChartQA、DocVQA、MMMU、ScienceQA、SeedBench、TextVQA与MME。硬件部分在TSMC 22 nm ASIC上测量片上延迟与平均功耗,并配合片外DRAM模拟和周期级加速器模型,边界覆盖加速器与DRAM访问。

混合精度把down_proj激活保留在8比特带来的增益在不同骨干上差别很大,分别为+1.44、+9.39和+3.21平均分,作者称这只是初步证据,系统分析留待后续。W8A8下ProQuant与强PTQ基线相当,额外训练成本在该比特宽度收益有限。硬件加速比与能耗下降的具体数值未在正文给出。