图像留在上下文里却用不上:VPR只改缓存视觉键的旋转相位,100项模型–任务分数中97项回升
多模态大模型把图像留在上下文窗口里,并不等于还能取用图像细节:图像与问题之间插入32K文本后,Qwen2.5-VL-7B在DocVQA上的分数从93.5降到52.6 ANLS。Visual Position Re-Anchoring(VPR)在问题处理前,把KV缓存中视觉键的旋转相位朝短上下文参考位置平移,不改视觉值、文本缓存和因果掩码,也不增加前向计算。在十个检查点、十个基准上,静态VPR提升了100个模型–任务分数中的97个;在TextVQA长度研究中,六个模型在32K下仍低于各自的短上下文参考,恢复并不完整。