跳到主要内容
检索

# 多图像推理

1 篇关联报道

订阅更新
  1. 多图视觉语言模型不再靠注意力剪枝:RI-Prune改在投影空间打分,仅留4.6%视觉token仍保住八成性能

    多图视觉语言模型把多张高分辨率图片拼进同一条序列,视觉token数量随之暴涨,而原本为单图设计的注意力剪枝在多图上明显失灵。RI-Prune改为在投影器输出、解码器之前,用查询相关性、跨图对应性和图内代表性三个信号给每个视觉token打分,再按图平均分配预算做Top-K保留,无需训练。在Qwen2.5-VL-7B上只保留4.6%的视觉token时,四个多图基准平均分为50.7,相当于原模型63.1分的80.4%,高于SCOPE的48.7分和DivPrune的48.4分。

已读完全部报道