跳到主要内容
返回时间线
arXiv来源发表:

视觉语言模型投机解码提速:MMFlash按视觉依赖重加权,图像基准平均加速3.00–3.05倍

核心概要

MMFlash把扩散式投机解码扩展到视觉语言模型,做法是先测量每个词元对图像的依赖程度,再在训练中给这类词元加权。测量显示,DFlash草稿器在视觉依赖最低四分位的接受率为46%,最高四分位降到22%,多模态训练后这一差距仍在。在Qwen3.5系列上,MMFlash在七个图像基准的贪心解码下平均加速3.00–3.05倍,比DFlash高10.3–10.9%;长视频基准配合稀疏注意力与轻量微调后平均加速2.33–2.71倍。

AI-generated editorial illustration: MMFlash: Faster Speculative Decoding for Vision-Language Models

深度剖析

MMFlash让视觉语言模型的投机解码在图像和长视频输入上都能获得无损加速,且草稿器本身不接收视觉词元。 此前的扩散草稿器DFlash主要面向纯文本任务,多模态草稿基本未被探索;而DFlash的损失只按词元在块内的位置加权,不区分延续短语的词元和从图表读数这类依赖图像的词元。 在Qwen3.5-4B与Qwen3.5-9B上,七个图像基准的贪心解码平均加速为3.00–3.05倍,比同数据训练的DFlash高10.3–10.9%;三个长视频基准配合稀疏注意力与微调后平均加速2.33–2.71倍,比DFlash高11.2–23.2%。

训练信号来自目标模型本身:同一文本前缀下,带图与去图两次前向的下一词元分布之差,衡量该词元对图像的依赖。 视觉依赖只说明图像改变了预测,不说明目标模型是否已在该处形成确定选择;因此MMFlash把该分数乘以目标模型带图分布的置信度,只在图像既改变预测又定下答案的位置加大权重。 最终权重是三项乘积:静态视觉依赖分数、按块内前缀存活概率估计的验证感知位置权重,以及草稿器当前预测错误的概率,后者随草稿器学会该词元而衰减;训练使用约90万条由目标模型重新生成回答的多模态样本,块大小为16,在8块NVIDIA H100上训练6个轮次。

长视频输入下,草稿器的注意力集中在问题、已生成答案和邻近位置上,远处帧占据大部分上下文却只分到较少注意力。 DFlash类草稿器在每个起草步都关注完整目标上下文,而视频基准的平均输入长度从图像基准的477词元升到41218词元。 在60个问题上,最近256个位置只占上下文的0.8%,却获得50.1%的注意力;MMFlash草稿器因此保留前4个注意力汇词元、步长为32抽样的视觉词元、全部文本词元和256词元的局部窗口,训练与推理使用同一模式。

启示与展望

评估覆盖Qwen3.5-4B与Qwen3.5-9B两个目标模型、七个图像基准和三个长视频基准,每个基准随机取200个样本做零样本评测;泛化实验另用Gemma4-E4B-it与Qwen3.8-27B。方法面向以图像或视频为输入、生成文本的视觉语言模型。

多模态数据训练只能部分缩小差距:块级接受率在最低四分位提高约5个百分点,最高四分位提高不到3个百分点。长视频上的起草仍比图像困难,方法依赖简单稀疏注意力模式与轻量微调,而非专为视频构建的草稿器。草稿器深度从5层增到8层时平均加速变化不足1%;隐藏状态抽取从5层增到8层时加速提升很小,却使在线训练时间增加19.9%。