视觉语言模型不再对着空白图像编答案:支持补全把无效证据幻觉率从0.759降到0.097
视觉语言模型会对从未收到的图像给出答案,这种“海市蜃楼”式回答即使正确也缺乏证据支撑。TIDE把每个训练问题同时配上空白图像、同域错误图像和域外图像,并把目标设为拒答,使忽略图像的预测器不再最优。在Qwen2.5-VL-7B上,三条件前身版本把无效证据幻觉率从0.759降到0.097,空白图像上的比率从0.700降到0.003,代价是有效图像上的误拒答率从0.018升到0.126。
视觉语言模型会对从未收到的图像给出答案,这种“海市蜃楼”式回答即使正确也缺乏证据支撑。TIDE把每个训练问题同时配上空白图像、同域错误图像和域外图像,并把目标设为拒答,使忽略图像的预测器不再最优。在Qwen2.5-VL-7B上,三条件前身版本把无效证据幻觉率从0.759降到0.097,空白图像上的比率从0.700降到0.003,代价是有效图像上的误拒答率从0.018升到0.126。
已读完全部报道