跳到主要内容
返回时间线
arXiv来源发表:

图像 token 压到 5.56% 仍保住八成以上性能:Varest 按语义分配分辨率

核心概要

视觉语言模型要为每张图的上千个图像 token 付出解码器算力,Varest 把压缩拆成两步:先按物体边界和文字位置做变分辨率合并,再在解码器前几层之后用学到的 [REL] 寄存器筛掉不再需要的 token。在三个骨干、13 个基准上,它在每个评测预算下的平均性能保持率都高于 15 个基线;层均图像 token 只剩原来的 5.56% 时,仍保留 86.10–92.33% 的完整 token 性能。

Source-provided article image: Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
arXiv

深度剖析

图像 token 的压缩不再只按特征相似度或注意力分数决定合并与删除,而是先判断一块区域在语义上能否被粗略概括,再决定在哪里保留细节。 此前的合并与剪枝依赖特征几何、注意力分数、学习到的保留效用或物体归属,这些信号并不直接对应语义:跨两个相邻物体合并会造出一个丢失双方语义的 token,而删除 token 又会损伤语义覆盖。 在三个骨干和 13 个基准上,Varest 在每个评测预算下的平均性能保持率都高于 15 个基线;层均图像 token 为原来的 5.56% 时,保持率为 86.10–92.33%。

实现上,轻量的物体定位器给出相邻格之间的边界强度,文字定位器给出每个格的文字概率,两者共同决定合并的粒度。 合并以受限的均值边界连接凝聚完成:从单个格出发,反复合并共享边界最弱的一对区域,直到每个区域达到分配到的区域数,每个区域再池化成一个带位置标签的图像 token。 定位器分别由 DINOv3 特征的余弦距离形式和 EasyOCR 边框蒸馏而来,训练后冻结;在 LLaVA-1.5-7B 上,去掉物体定位器会让最小预算下的保持率下降 5.76–11.99 个百分点。

解码器一侧,四个学到的 [REL] 寄存器放在用户提示之后、助手回答之前,用双线性打分头给图像 token 排序,只保留得分最高的部分。 剪枝发生在解码器中点,因此更多 token 能先经过前几层处理,层均 token 预算保持不变;训练时剪枝以注意力掩码实现,梯度可以穿过。 在固定剪枝层和保留 token 数时,学习到的选择在三个骨干的每个预算下都优于随机选择;在最小预算下,联合训练比只训练 tokenizer 的 [REL] 版本高 2.41–3.26 个保持率点。

启示与展望

评测覆盖 LLaVA-1.5-7B、LLaVA-1.5-13B 和 LLaVA-NeXT-8B 三个骨干,以及 MMBench、AI2D、MMStar、POPE、GQA、ChartQA、DocVQA、TextVQA、RefCOCO 系列、CountBench 和 V* 共 13 个基准,保持率按 15 个指标对未压缩骨干归一化后平均。作者把适配 Qwen-VL、InternVL 等其他视觉语言模型家族列为未来工作,并指出把计算节省转化为更低延迟还需要高效实现。

自适应停机是可选机制,触发后额外减少 6.9–10.2% 的跨层图像 token 传播,平均分数损失为 0.11–0.24 分(基准原生 0–100 分制);在 LLaVA-1.5-13B 上有 20.3% 的输入在选择运行前就停机。作者指出延迟高度依赖代码实现,因此未报告延迟;文字定位器的聚合差距掩盖了单个基准上的较大变化,例如最小预算下 TextVQA 在三个骨干上下降 1.21–2.24 分。