跳到主要内容
返回时间线
arXiv来源发表:

VEGD让对比解码的两个分支盯住同一块图像证据,免训练把LLaVA-1.5-7B的CHAIRS从53.0降到48.4

核心概要

免训练的对比解码此前只改动辅助分支的输入或计算,主分支和辅助分支在生成时用哪块图像证据并不受控。视觉证据引导解码(VEGD)先用少数定位注意力头找出与问题相关的图像区域,在辅助图像中削弱该区域,再在解码末段把两个分支的注意力都锚定到同一位置,并按两个分布的分歧自适应地融合或对比。在CHAIR、POPE和MME-Hallucination三个基准、八个视觉语言模型上,VEGD报告幻觉指标一致下降;128 token生成时LLaVA-1.5-7B的CHAIRS从53.0降到48.4。

Source-provided article image: Contrast Where It Matters: Visual Evidence-Guided Decoding for Mitigating Hallucinations in LVLMs
arXiv

深度剖析

免训练对比解码现在把“两个分支各自看哪块图像”当作可干预的对象,而不只是构造一个被扰动的辅助输入。 此前的全局扰动方法改动整张图,与问题无关的变化也会进入输出差异;局部方法只决定辅助输入在哪里被改动,既不把主分支引向相关证据,也不把辅助分支锚定到对应的削弱区域。 在CHAIR、POPE和MME-Hallucination三个基准上,VEGD在八个视觉语言模型上报告幻觉指标一致下降;128 token生成时,LLaVA-1.5-7B的CHAIRS从53.0降到48.4,InstructBLIP-7B从56.6降到46.0,ShareGPT4V-7B从29.0降到24.2。

做法分两步:先定位与问题相关的图像证据,再让两个分支在解码过程中始终盯住同一位置。 定位不平均所有注意力头,而是先限定在中间层,再按图像注意力质量与空间碎片化程度筛选出少数定位头,把它们的空间图平滑后平均成一张连续的证据图。 在LLaVA-1.5-7B的对抗性POPE-COCO诊断中,正确预测对目标区域掩码的依赖效应均值为3.32,错误预测为0.57,配对差2.75(95%置信区间[2.04, 3.48]);证据富集度的配对差在第10至20层平均为0.79,到第21至31层降到0.32。

辅助图像按证据图的均值阈值削弱高证据区域,其余场景保留,两个分支因此主要在被检验的证据上不同。 解码末7层中,同一张证据图被用来调制两个分支里承载视觉信息的注意力头:主分支强化完整证据,辅助分支在内容被削弱后仍锚定同一位置。 两个分支的预测按总变差距离决定加性融合还是对比相减;在MME-Hallucination上,VEGD的总分在LLaVA-1.5-7B、InstructBLIP-7B和ShareGPT4V-7B上分别为650.00、453.33和671.67,相对常规解码分别提高60.00、43.33和100.00。

启示与展望

评估覆盖CHAIR、POPE和MME-Hallucination三个幻觉基准,以及LLaVA-1.5-7B、InstructBLIP-7B、ShareGPT4V-7B、DeepSeek-VL2-Small、Janus-Pro-7B、Kimi-VL-A3B-Instruct、InternVL3-9B和Qwen2.5-VL-7B八个视觉语言模型,所有对比方法在同一评估框架下重实现并使用相同生成设置。方法本身免训练,只在生成前做一次探针前向并运行在NVIDIA A100 40GB GPU上。

定位头数量增加后POPE几乎不变但MME下降,提示额外头带来噪声定位线索;干预深度对MME比对POPE更敏感,默认取末7层时F1比峰值低0.03。这些超参数结论来自所报告的基准与模型,方法在其他任务上的表现未在材料中给出。