图像留在上下文里却用不上:VPR只改缓存视觉键的旋转相位,100项模型–任务分数中97项回升
核心概要
多模态大模型把图像留在上下文窗口里,并不等于还能取用图像细节:图像与问题之间插入32K文本后,Qwen2.5-VL-7B在DocVQA上的分数从93.5降到52.6 ANLS。Visual Position Re-Anchoring(VPR)在问题处理前,把KV缓存中视觉键的旋转相位朝短上下文参考位置平移,不改视觉值、文本缓存和因果掩码,也不增加前向计算。在十个检查点、十个基准上,静态VPR提升了100个模型–任务分数中的97个;在TextVQA长度研究中,六个模型在32K下仍低于各自的短上下文参考,恢复并不完整。
深度剖析
长上下文多模态模型即使把图像保留在上下文窗口内,也可能在图像与问题之间积累大量文本后丢失对图像细节的访问,这种失效被称为视觉证据漂移。 此前提升视觉定位的做法包括注意力干预、解码时校正、视觉重访和位置编码设计,其中一些需要训练适配、处理中间注意力、辅助预测或反复处理视觉token。 在图像与问题固定、只改变中间文本量的设置下,Qwen2.5-VL-7B的DocVQA分数从短上下文的93.5降到插入32K文本token时的52.6 ANLS,而输入仍在检查点配置的上下文窗口内。
VPR在上下文预填充之后、问题处理之前,直接平移缓存中视觉键的旋转相位,使它们与后续查询的位置关系回到短上下文参考。 该方法只作用于已有的KV缓存,保留视觉值、文本缓存条目和物理缓存槽位,不提取注意力图,也不增加模型前向次数。 静态与连续两种补偿调度中,静态调度默认把偏移固定;在十个检查点、十个基准、每个模型–任务500道题的比较中,静态VPR提升了100个分数中的97个,下降出现在GQA和AI2D上。
相位平移把注意力重新分配到包含答案证据的图像区域,而不只是整体提高对图像的注意力。 按图像内总注意力归一化后,可以区分注意力向答案文本所在区域集中与整体视觉注意力上升这两种情况。 在六个检查点上,静态VPR使分配给含参考答案文本的视觉注意力平均份额提高0.70至2.57个百分点,每个检查点有88%至95%的图像上升,均值增益的配对95%自助法区间均高于零。
启示与展望
演示范围是单图输入、图像与问题之间插入最多32K文本token的问答设置,覆盖Qwen2.5-VL、Qwen3-VL、InternVL3和LLaVA共十个检查点;作者提出把重锚定扩展到跨多图、多文档并在生成推理中反复回访的证据,作为下一步方向。
在TextVQA长度研究的六个模型中,32K下仍全部低于各自的短上下文参考,恢复被描述为显著但不完整;位置并不能解释全部损失,InternVL3-2B在文本全部置于图像之前时仍低于短上下文参考;超过参考的补偿强度会降低准确率,作者将其视为探索性设置而非单一失效原因的隔离。
