视觉语言模型看得到却答不出:只训练16到32个跨图注意力头,SPair-71k语义对应从0.430升到0.712
视觉语言模型在两幅图之间匹配点或物体时常出错,即使答案已能从隐藏状态中解码。研究在Qwen3-VL、InternVL3.5与Gemma-3上把失败分成两类:精确复制在答案位置已算出却未被读出,语义对应则停留在视觉词元里、未被比较。仅训练16到32个跨图注意力头的查询与键投影,Qwen3-VL-8B在SPair-71k上从0.430升到0.712,并迁移到未参与训练的HPatches与BLINK。