跳到主要内容
检索

Beibei Han

1 篇关联报道

订阅更新
  1. arXiv

    视觉token剪枝后答案没变,概率却偏了:DiFiT把响应分布也纳入选择目标

    多模态大模型的视觉token剪枝通常只看答案是否仍然正确,但剪枝会在贪心答案不变的情况下改变各候选回答的概率。DiFiT把全token模型的响应分布和参考答案一起作为监督信号,学习保留哪些视觉token,并让同一套排序服务多个保留比例。在Qwen2.5-VL-7B上,10%保留率时它把采样导致的负翻转相对FastV降低30.3%,30%保留率时在MME上保留基线性能的98.74%。

已读完全部报道