视觉token剪枝后答案没变,概率却偏了:DiFiT把响应分布也纳入选择目标
多模态大模型的视觉token剪枝通常只看答案是否仍然正确,但剪枝会在贪心答案不变的情况下改变各候选回答的概率。DiFiT把全token模型的响应分布和参考答案一起作为监督信号,学习保留哪些视觉token,并让同一套排序服务多个保留比例。在Qwen2.5-VL-7B上,10%保留率时它把采样导致的负翻转相对FastV降低30.3%,30%保留率时在MME上保留基线性能的98.74%。
多模态大模型的视觉token剪枝通常只看答案是否仍然正确,但剪枝会在贪心答案不变的情况下改变各候选回答的概率。DiFiT把全token模型的响应分布和参考答案一起作为监督信号,学习保留哪些视觉token,并让同一套排序服务多个保留比例。在Qwen2.5-VL-7B上,10%保留率时它把采样导致的负翻转相对FastV降低30.3%,30%保留率时在MME上保留基线性能的98.74%。
循环记忆模型把历史压进固定数量的记忆槽,以往每个词都写入同样多的槽,把“该不该存”和“存几个槽”混成一个决定。Factorized Write Routing 把写入拆成两步:先由学习到的门判断当前词是否写入,再由槽路由器决定更新固定数量还是自适应数量的槽,查询时仍读取全部槽。在两种合成长上下文任务、十个随机种子上,四槽写入时出现随信息密度反转的结果:高密度 Feature Recall 上始终写入的长期准确率为0.472,高于学习门控的0.337;稀疏事实 Passkey 上学习门控为0.222,高于始终写入的0.048。
已读完全部报道