视觉语言模型看得到却答不出:只训练16到32个跨图注意力头,SPair-71k语义对应从0.430升到0.712
核心概要
视觉语言模型在两幅图之间匹配点或物体时常出错,即使答案已能从隐藏状态中解码。研究在Qwen3-VL、InternVL3.5与Gemma-3上把失败分成两类:精确复制在答案位置已算出却未被读出,语义对应则停留在视觉词元里、未被比较。仅训练16到32个跨图注意力头的查询与键投影,Qwen3-VL-8B在SPair-71k上从0.430升到0.712,并迁移到未参与训练的HPatches与BLINK。
深度剖析
视觉语言模型在两幅图之间匹配点或物体时会失败,而失败位置并不相同:精确复制任务里比较已经算完,只是答案位置没有把它读出来;语义对应任务里对应信息存在于视觉词元中,却没有被比较环节送到答案位置。 此前一种解释把差距归因于实体无法命名,并常用标注区域上的探针读数作为参照;这类读数在合成形状上接近饱和,因为参考与目标像素完全相同,测到的是像素一致性而非语言模型内部的计算。 在Qwen3-VL-8B的合成形状题上,行为准确率为41%,而答案位置探针达到64%;沿探针方向编辑答案位置残差流,改变的正确率不超过随机子空间的范围,而同一层加入字母输出方向可把答案切换到该字母。
两幅图之间的比较由一小组跨图注意力头承担:第二幅图的选项词元通过这些头从第一幅图的参考区域取回证据,注意力先落在显著候选位置,再按内容相似度加权。 此前的分析多集中在单图内的文本到图像定位或图内计算,没有指出两图区域对区域的比较在哪一步丢失,也没有给出可训练的具体部件。 在保持注意力总量不变、只打乱其分布的干预下,Qwen3-VL-8B的合成形状准确率下降17.2个百分点、HPatches下降32.2个百分点,InternVL3.5-8B分别下降20.2和16.8个百分点,均超过随机头组与注意力总量匹配头组的表现。
只训练这组头的查询与键投影,就能补回语义对应的大部分缺口,并在未参与训练的基准上迁移;不受约束的全层适配器也会把自身增益的一部分经由同一组头实现。 基线模型在SPair-71k上接近随机水平,且屏蔽这组头对基线模型的语义对应几乎没有影响,说明基线并未把这组头用于该任务。 Qwen3-VL-8B的SPair-71k准确率从0.430升到0.712,InternVL3.5-8B从0.354升到0.605,可训练参数约1.68M与1.50M;把全层适配器D在第二幅图查询位置上的注意力行移植进基线模型,可复现其增益的33.9%(Qwen3-VL-8B)与27.0%(InternVL3.5-8B)。
启示与展望
机制分析与修复覆盖Qwen3-VL-8B和InternVL3.5-8B两个8B规模模型,Gemma-3-12B只进入测量结果;任务为四选一的两图选择题,合成形状、HPatches同实例点对应与SPair-71k语义对应各1000条测试项,其中Syn-known为500条;迁移评估使用BLINK的语义与视觉对应验证划分。
在基线模型上屏蔽这组头对SPair-71k几乎没有影响,语义对应的因果证据来自训练后的模型;保持注意力总量的干预在HPatches上使部分条目离开自然残差范数区间,各操作与模型报告的离开比例在5.6%到20.6%之间;注意力总量匹配的对照头组并未在层上匹配,且四次学习率扫描中有三次选中网格最大值;BLINK各划分不足200条,区间较宽。
