跳到主要内容
返回时间线
arXiv来源发表:

视觉token剪枝后答案没变,概率却偏了:DiFiT把响应分布也纳入选择目标

核心概要

多模态大模型的视觉token剪枝通常只看答案是否仍然正确,但剪枝会在贪心答案不变的情况下改变各候选回答的概率。DiFiT把全token模型的响应分布和参考答案一起作为监督信号,学习保留哪些视觉token,并让同一套排序服务多个保留比例。在Qwen2.5-VL-7B上,10%保留率时它把采样导致的负翻转相对FastV降低30.3%,30%保留率时在MME上保留基线性能的98.74%。

Source-provided article image: DiFiT: Distribution-Fidelity-guided Visual Token Pruning for Multimodal Large Language Models
arXiv

深度剖析

视觉token剪枝即使保住了贪心答案,也会改变模型对各个候选回答的概率分配,这种变化可以单独测量。 此前的剪枝方法主要用给定预算下保留的任务得分来比较,这类得分只说明答案是否仍然正确,不反映候选回答概率的变化。 在共享参考前缀、样本固定且全模型与剪枝模型答案相同的条件下,所评估的每一种剪枝方法的平均预测漂移都随压缩加强而上升。

DiFiT把剪枝后模型在响应位置上的词表概率对齐到全token模型,并同时用参考答案约束任务质量。 双视图蒸馏在共享参考前缀下匹配整个词表的概率,答案监督负责奖励正确的响应token,两者互补。 在Qwen2.5-VL-7B、Qwen2.5-VL-3B和LLaVA-OneVision-1.5-8B三个骨干上,于30%、20%、10%三档保留率评测八个图像语言基准和MVBench,每个骨干单独训练打分器,同一打分器服务该骨干的三档预算。

启示与展望

评测覆盖Qwen2.5-VL-7B、Qwen2.5-VL-3B和LLaVA-OneVision-1.5-8B三个骨干,30%、20%、10%三档保留率,八个图像语言基准与MVBench视频基准;漂移与行为分析集中在Qwen2.5-VL-7B,行为测试覆盖四个任务和两档预算。

硬选择会整块丢弃token,当保留的token不能代表被丢弃区域时证据会丢失;冻结的视觉编码器无法针对更小的token预算调整特征。共享参考前缀下的响应位置匹配不覆盖自由生成中早期token改变导致后续上下文偏移、误差累积的情形。