跳到主要内容
返回时间线
arXiv来源发表:

视觉定位挑层不再依赖标注框:WhereBits用无标注问题选层,COCO指向准确率0.72对平均注意力0.22

核心概要

视觉语言模型看哪里,可以从注意力本身读出来,但注意力汇聚点让原始注意力图不可靠,而对比式方法只在部分层定位有效,此前要靠标注框或固定规则挑层。WhereBits把问题对注意力分布的改变拆成“看不看图像”和“看图像哪里”两部分,用无标注问题上测得的后者比特数构造层先验,再与逐头对数比分数结合。在八个视觉语言模型上,它的COCO指向准确率为0.72,平均注意力为0.22,并在COCO与RefCOCO上追平用框标注调出的层。

Source-provided article image: Bits, Not Boxes: Label-Free Layer Selection for Visual Localization in VLMs
arXiv

深度剖析

挑层这件事可以不再依赖标注框:一个视觉语言模型里哪些层能把问题指向的目标定位出来,可以从注意力在无标注问题上的变化量直接读出。 此前的做法要么用框标注为每个模型选一层,要么读固定的深层区间,要么按注意力变化幅度逐题选层,这些规则并非从该模型各层的实际定位能力推出。 层分数与留出数据上的定位准确率随深度同向变化,在12个COCO与RefCOCO模型–数据集组合上Spearman相关系数为正;只用“看不看图像”那一项比特时,COCO指向准确率下降0.108。

做法是把问题相对通用提示引起的注意力变化拆开,只保留描述“看图像哪里”的那一部分,并把它折算成每层的权重。 逐头分数取同一视觉词在问题与通用提示两种输入下路由概率的对数比,两种提示共有的加性偏移在比较两个词时抵消,因此汇聚点不需要先检测再剔除。 层先验由385个COCO校准问题估计,三个设计常数在带标注的COCO数据上固定一次后冻结;换新模型或新分辨率只需无标注问题,十个问题即可把先验估到与全部385个问题相差0.011指向准确率以内。

启示与展望

结论建立在六个模型、四个家族的因果解码器上,图像位于文本之前,逐头对数比的不变性论证依赖这一排布;V∗的放大收益是在强制选择评测下测得的,生成式回答下多数回复不含选项字母。

小目标上WhereBits的指向准确率低于用框标注调出的层,缺口在V∗最小的三分之一目标上最大;参考提示的选择会影响结果,短描述提示在三个模型上使指向准确率下降0.018–0.191;用V∗问题做校准会让SmolVLM-500M的COCO指向准确率从0.718降到0.455。