多图视觉语言模型不再靠注意力剪枝:RI-Prune改在投影空间打分,仅留4.6%视觉token仍保住八成性能
核心概要
多图视觉语言模型把多张高分辨率图片拼进同一条序列,视觉token数量随之暴涨,而原本为单图设计的注意力剪枝在多图上明显失灵。RI-Prune改为在投影器输出、解码器之前,用查询相关性、跨图对应性和图内代表性三个信号给每个视觉token打分,再按图平均分配预算做Top-K保留,无需训练。在Qwen2.5-VL-7B上只保留4.6%的视觉token时,四个多图基准平均分为50.7,相当于原模型63.1分的80.4%,高于SCOPE的48.7分和DivPrune的48.4分。
深度剖析
多图视觉语言模型的视觉token剪枝不再依赖注意力显著性,而是改在投影器输出、解码器之前按三个互补信号一次性选出保留token。 此前的剪枝方法主要为单图设计,用解码器查询注意力或视觉编码器CLS注意力估计token重要性;这些方法在单图基准上平均保留82.2%准确率,到多图基准上降到69.1%,相差13.1个百分点。 在Qwen2.5-VL-7B上只保留4.6%视觉token时,RI-Prune在Mantis-Eval、MIBench、MIRB、MUIRBench四个多图基准上的平均分为50.7,原模型为63.1,SCOPE为48.7,DivPrune为48.4。
每个视觉token的分数由查询相关性、跨图对应性和图内代表性三项相加得到,三项各自在样本内做z-score归一化后等权融合。 查询相关性取该token与所有问题token余弦相似度的最大值;跨图对应性把每张图切成16段取均值作为原型,取该token与其他图原型的最大余弦相似度;图内代表性用token与所属原型的对齐度乘以该原型在图内出现频率的对数倒数,压低重复背景。 在Qwen2.5-VL-7B、4.6%保留比例下,三项等权时平均准确率为50.7,只保留查询相关性为44.6,查询相关性加跨图对应性为48.6,随机选择为40.1。
启示与展望
演示范围是Qwen2.5-VL-7B、Qwen3-VL-8B和LLaVA-OneVision-7B三个骨干,在Mantis-Eval、MIBench、MIRB、MUIRBench四个多图基准上按官方指标评测,并附带Video-MME与TempCompass的视频帧结果;剪枝只在投影器输出处执行一次,默认原型数P=16、三项权重均为1。作者提出的后续方向包括按内容自适应分配每图预算、利用解码器层间冗余、以及把方法扩展到更大模型、长视频和生成型任务。
作者指出,近乎均分的每图预算在相关证据只集中在少数图片时可能不是最优;方法只作用于投影器与解码器接口,没有利用解码器内部的层间冗余;跨图对应信号在长交错视频或文档输入上可能开销变大;评测限于7–8B模型和多项选择式多图基准。原型数扫描显示P=64时准确率51.0略高于P=16的50.7,但计算时间接近翻倍,P=128时回落到48.7。
