图像 token 压到 5.56% 仍保住八成以上性能:Varest 按语义分配分辨率
视觉语言模型要为每张图的上千个图像 token 付出解码器算力,Varest 把压缩拆成两步:先按物体边界和文字位置做变分辨率合并,再在解码器前几层之后用学到的 [REL] 寄存器筛掉不再需要的 token。在三个骨干、13 个基准上,它在每个评测预算下的平均性能保持率都高于 15 个基线;层均图像 token 只剩原来的 5.56% 时,仍保留 86.10–92.33% 的完整 token 性能。
视觉语言模型要为每张图的上千个图像 token 付出解码器算力,Varest 把压缩拆成两步:先按物体边界和文字位置做变分辨率合并,再在解码器前几层之后用学到的 [REL] 寄存器筛掉不再需要的 token。在三个骨干、13 个基准上,它在每个评测预算下的平均性能保持率都高于 15 个基线;层均图像 token 只剩原来的 5.56% 时,仍保留 86.10–92.33% 的完整 token 性能。
已读完全部报道