跳到主要内容
检索

Juntao Xu

1 篇关联报道

订阅更新
  1. arXiv

    图像留在上下文里却用不上:VPR只改缓存视觉键的旋转相位,100项模型–任务分数中97项回升

    多模态大模型把图像留在上下文窗口里,并不等于还能取用图像细节:图像与问题之间插入32K文本后,Qwen2.5-VL-7B在DocVQA上的分数从93.5降到52.6 ANLS。Visual Position Re-Anchoring(VPR)在问题处理前,把KV缓存中视觉键的旋转相位朝短上下文参考位置平移,不改视觉值、文本缓存和因果掩码,也不增加前向计算。在十个检查点、十个基准上,静态VPR提升了100个模型–任务分数中的97个;在TextVQA长度研究中,六个模型在32K下仍低于各自的短上下文参考,恢复并不完整。

已读完全部报道