让模型看见自己的幻觉:DreamRealm把错误答案配上能成立的图像,MMVP配对准确率提升11.34个百分点
核心概要
多模态大模型在细微视觉差异上容易产生与图像不符的回答,而现有对比监督多围绕检索或生成的图像构建,未必对准模型自身的感知混淆。DreamRealm把目标模型高概率给出的错误回答挖出来,用最小幅度的图像编辑让这些回答在编辑图上成立,再训练模型把每条回答分配给支持它的那张图。以Qwen3.5-9B为对象,该方法在六个视觉感知与幻觉基准上均有提升,其中HallusionBench准确率提高7.26个百分点、MMVP配对准确率提高11.34个百分点。
深度剖析
训练信号从只纠正固定图像下的错误回答,扩展到让模型学会把一条错误回答对应到唯一能支持它的图像。 此前的后训练方法把图像当作固定条件,通过回答修正或偏好学习压制幻觉;另一类方法用检索、生成或编辑构造视觉对比,但这些对比并非围绕目标模型自身的幻觉构建。 在Qwen3.5-9B上,DreamRealm在六个视觉感知与幻觉基准的七项指标上全部提升,其中HallusionBench准确率提高7.26个百分点,MMVP配对准确率提高11.34个百分点。
做法是先让目标模型自己暴露错误,再为每个错误回答造出一张使其成立的图,最后用图像与回答的交叉配对训练对应关系。 RealmForgePipe先用高温采样和关键属性枚举扩展候选错误回答,按似然排序保留高概率错误,再由验证模型给出三条编辑幅度递增的指令,用图像生成模型执行并通过盲检确认编辑后的图确实支持该回答。 RealmSet由Qwen3.5-9B的幻觉构建,覆盖22类感知问题,含28,960个人工审核通过的编辑样本,其中27,038个用于训练、1,922个留作测试,训练与测试按原始图像族分开。
训练目标把同一族内的原图与编辑图、候选回答排成似然矩阵,同时从回答方向和图像方向做对比。 RealmMatch在匹配的图像—回答对上做监督学习,并加入行向与列向两个双向对比损失:行向让匹配回答胜过同族其他回答,列向在回答措辞相同的条件下让支持图像胜过同族其他图像。 在固定完整RealmForgePipe数据后,RealmMatch在七项指标上全部优于原始模型并在六项上最好;单独使用SFT在AMBER上最好,DPO在MMVP上较强但使HallusionBench下降,GRPO更均衡但仍落后于RealmMatch。
启示与展望
已展示的范围是Qwen3.5-9B及其幻觉构建的RealmSet,并在Qwen2.5-VL-7B、Gemma-4-E4B-it和InternVL3.5-8B上复用同一数据做跨模型训练;评估覆盖HallusionBench、MMVP、AMBER、MMHal-Bench、CV-Bench-2D和ObjectHal六个公开基准,以及RealmSet留出的5,000例同分布测试集。
候选回答的似然分数是候选集内的相对权重,并非校准过的绝对幻觉概率,取决于候选池的覆盖与粒度;跨模型复用同一RealmSet时提升小于匹配设置,说明不同模型的幻觉空间有重叠但不能完全互换;数据构建依赖图像编辑模型的能力,部分场景仍难以编辑成功,且需要图像生成与人工审核成本。
