VEGD让对比解码的两个分支盯住同一块图像证据,免训练把LLaVA-1.5-7B的CHAIRS从53.0降到48.4
免训练的对比解码此前只改动辅助分支的输入或计算,主分支和辅助分支在生成时用哪块图像证据并不受控。视觉证据引导解码(VEGD)先用少数定位注意力头找出与问题相关的图像区域,在辅助图像中削弱该区域,再在解码末段把两个分支的注意力都锚定到同一位置,并按两个分布的分歧自适应地融合或对比。在CHAIR、POPE和MME-Hallucination三个基准、八个视觉语言模型上,VEGD报告幻觉指标一致下降;128 token生成时LLaVA-1.5-7B的CHAIRS从53.0降到48.4。