跳到主要内容
返回时间线
arXiv来源发表:

视觉语言模型不再对着空白图像编答案:支持补全把无效证据幻觉率从0.759降到0.097

核心概要

视觉语言模型会对从未收到的图像给出答案,这种“海市蜃楼”式回答即使正确也缺乏证据支撑。TIDE把每个训练问题同时配上空白图像、同域错误图像和域外图像,并把目标设为拒答,使忽略图像的预测器不再最优。在Qwen2.5-VL-7B上,三条件前身版本把无效证据幻觉率从0.759降到0.097,空白图像上的比率从0.700降到0.003,代价是有效图像上的误拒答率从0.018升到0.126。

AI-generated editorial illustration: Teaching Vision-Language Models to Decline: Support Completion Against Mirage

深度剖析

视觉语言模型会在没有相应图像时照常作答,这类回答被称为海市蜃楼;它可能碰巧正确,却无法由模型实际看到的输入支撑。 标准视觉指令微调的训练分布只包含问题所针对的图像,因此对空白图像或错误图像作答从不受惩罚,拒答也从不被奖励。 在Qwen2.5-VL-7B-Instruct上,按协议v4.1冻结的390组测试中,原始模型在1170条无效证据行上的海市蜃楼率为0.759,空白图像行为0.700。

把每个训练问题扩展成四种图像角色,并让三种反事实图像对应拒答目标,就能改变最优解的位置。 这一目标称为TIDE,即支持补全;它不增加辅助头、对比项、检测器或结构改动,四个样本只在图像和目标上不同。 三条件前身版本(域外图像未参与训练)在390组测试上把无效证据率降到0.097,空白图像降到0.003,域外图像从0.764降到0.054,残差集中在同域错误图像的0.233。

拒答能力会部分外溢到有效图像,表现为回答率下降和误拒答上升。 训练目标只规定反事实输入上应当拒答,并未直接约束有效图像上的行为。 同一测试中回答率从0.982降到0.874,误拒答率从0.018升到0.126,全部有效行上的准确率从0.577降到0.559。

先做视觉投影器对齐再做支持补全,结果与只做支持补全几乎相同;顺序反过来则会重新打开海市蜃楼。 单独做投影器对齐会把无效证据率推高到0.859,空白图像仅从0.700降到0.646。 先对齐后补全的无效证据率为0.094,与只做补全的0.097相差0.003,配对区间为[-0.018, 0.014];先补全后对齐则回到0.615,同域错误图像为0.936。

启示与展望

已测结果全部来自Qwen2.5-VL-7B-Instruct在种子0、协议v4.1下的三条件前身版本,测试集为390组、每域39组、共1560行,评判由仅看回答的U评判与看图像说明的B规则完成。四条件TIDE、另外两个基座模型、三个种子、组件消融与评判的人工校验仍在进行,尚未报告数值。

命题2针对总体最优解,且要求问题与反事实图像在语义上不相交,而实际训练集只在图像内容和问题字符串层面保证不相交。命题3约束的是字符串层面回答或拒答决策误差的加权和,不是每个残差,也不是评判定义的海市蜃楼率。B规则只在38条早期人工标注行上做过样本内校验,U评判未与人工标签对照。同域错误图像上的残差与误拒答率在十个领域间的秩相关分析属于每域39行的十点事后分析,不是预注册检验。