跳到主要内容
返回时间线
arXiv来源发表:

只留5%视觉token仍保住91.6%性能:Glance-ETD先低分辨率扫视,再按问题证据选token

核心概要

多模态大模型处理高分辨率图像时,视觉token占满预填充开销,而极端压缩下此前的裁剪只缩短语言模型输入,视觉编码器仍要看过每个图像块。Glance-ETD用一个约190万参数的问题条件打分器同时驱动两步:先以四分之一分辨率扫视,只把与问题相关的25%区域按原分辨率重编码;再用证据调节的多样性规则挑选最终token。在Qwen3.5-4B上只保留5%视觉token,它在14个基准上保留全token性能的91.6%,比此前最强的LT-OPD高17.3个百分点,4K图像首token时间快3.1倍。

Source-provided article image: Glance, then Select: Evidence-Tempered Visual Token Selection for Extremely Compressed Multimodal LLMs
arXiv

深度剖析

视觉token压缩在极端预算下多出两个此前未被同时处理的瓶颈:裁剪发生在视觉编码器之后,编码器仍要对全部图像块做注意力,高分辨率下它成为主要耗时;同时保留下来的少数token常漏掉承载答案的小区域。 此前的token裁剪方法在编码器之后动手,只缩短语言模型预填充,几乎不改变首token时间;按多样性选token能覆盖场景,却常丢掉路牌或电话号码这类小片文字,而只按相关性选又会失去计数和存在性判断所需的上下文。 在HR-Bench 4K上,编码器占首token时间4.03秒中的2.64秒,其浮点运算的89%来自约5万个图像块上的全局注意力,因此只裁语言模型输入的方法首token加速停留在0.87到1.28倍。

Glance-ETD把编码器成本也压下来:图像先以四分之一图像块数做一次低分辨率扫视,打分器据此挑出相关性最高的25%单元,只对这些单元的原生图像块做第二次编码,其余单元沿用粗编码。 低分辨率扫视加选择性重编码让编码器只花约六分之一的稠密浮点运算,输出仍保持与稠密编码器相同的token网格,因此任何编码器之后的token选择器都能直接接上。 在Qwen3.5-4B上,加入扫视编码器把HR-Bench 4K的预填充从373 TFLOPs降到65 TFLOPs,首token时间从3355毫秒降到1290毫秒,保留率从92.5%升到93.3%。

第二步的选择规则叫证据调节多样性(ETD),它保留DivPrune的贪心多样性循环,但用打分器给出的证据对每个候选token加权,证据图平坦时退化为DivPrune,问题指向小区域时选择向该区域倾斜而仍覆盖场景。 打分器约190万参数,读取模型自身的token特征和问题嵌入,每次调用约2毫秒,用框标注训练,不需要额外编码器;它只在推理时使用,模型训练时仍按多样性选单元,因此模型不依赖打分器。 在冻结的Qwen3.5-4B上,ETD在严格5%预算下保留82.0%,比最强的免训练基线DivPrune高10.7个百分点;在TextVQA上,ETD在99.1%的问题中保留了答案框内的token,DivPrune为80.2%。

完整流程在严格5%预算下保留全token性能的91.6%,比此前最强的LT-OPD高17.3个百分点,比同一训练配方配DivPrune高6.0个百分点,并在4K图像上把首token时间缩短3.1倍。 提升集中在阅读与文档类问题上,这类问题正是单靠多样性选择会失败的地方;同一套方法在Gemma 4、GLM-4.6V和InternVL3.5上也保持领先。 14个基准上的保留率是三次训练种子的均值,标准差0.3个百分点;在Gemma 4 E4B-it上完整流程保留83.6%,在GLM-4.6V-Flash和InternVL3.5-8B上分别保留88.2%和83.8%。

启示与展望

演示范围是严格5%视觉token预算下的图像问答:主实验用Qwen3.5-4B非思考模式,覆盖14个基准,并在Gemma 4 E4B-it、GLM-4.6V-Flash和InternVL3.5-8B上重复对比。扫视编码器只作用于至少4096个图像块的图像,更小的图像仍走稠密编码路径。

文本与文档类基准仍是绝对差距最大的部分,OCRBench为848分中的590分,InfoVQA为79.4中的48.1,DocVQA为94.6中的82.6。在Gemma 4上,扫视编码器没有带来额外收益,完整流程保留83.6%,略低于仅用ETD的84.2%。