视觉定位挑层不再依赖标注框:WhereBits用无标注问题选层,COCO指向准确率0.72对平均注意力0.22
视觉语言模型看哪里,可以从注意力本身读出来,但注意力汇聚点让原始注意力图不可靠,而对比式方法只在部分层定位有效,此前要靠标注框或固定规则挑层。WhereBits把问题对注意力分布的改变拆成“看不看图像”和“看图像哪里”两部分,用无标注问题上测得的后者比特数构造层先验,再与逐头对数比分数结合。在八个视觉语言模型上,它的COCO指向准确率为0.72,平均注意力为0.22,并在COCO与RefCOCO上追平用框标注调出的层。