偏好优化让视觉语言模型少说也少看:基础模型提前停句就能复现58%到86%的幻觉改善
核心概要
四个公开的LLaVA-1.5-7B偏好优化检查点在降低物体幻觉的同时,也把CHAIR-500上的物体召回从80.5降到65.1至76.2,且集合级物体F1没有显著提升。让基础模型用正端符(EOS)logit偏置提前停句、达到各偏好优化模型的召回水平,在两个互不重叠的500张COCO图像集上复现了RLAIF-V、CHAIR-DPO和CSR的CHAIRi改善的58%到86%。反过来让偏好优化模型写得更长,只能找回2%到9%的丢失召回,新增物体提及中94%到96%是重复已说过的类别。
深度剖析
偏好优化检查点在压低物体幻觉率的同时,命名的物体类别更少:四个检查点在CHAIR-500上的召回从基础模型的80.5降到65.1至76.2,每张图只提2.1到2.8个不同物体类别,而基础模型提3.2个,但字幕长度仍有75到93词。 幻觉率只统计已提及物体中的错误项,因此少提物体本身就能压低这一指标;按不同物体计的单位下,四个检查点的幻觉率比基础模型低4.9到19.1个百分点,八个区间都不含零,而同一单位下的集合级物体F1变化区间全部包含零,CSR在留出集上还出现区间低于零的下降。 CHAIR-500取COCO val2014的500张随机图像,AMBER用其1004张生成图像,另取500张不重叠的COCO图像作留出集;所有模型在HuggingFace LLaVA实现中运行,基础模型、CHAIR-DPO、CSR和HA-DPO与原始代码的贪心字幕在16张图中有14到16张完全一致。
把基础模型的端符logit加一个正偏置让它提前停句,直到召回降到与偏好优化模型相同,就能复现后者大部分CHAIRi改善,说明这部分改善并不需要偏好训练。 按召回对齐后,RLAIF-V、CHAIR-DPO和CSR的停句复现比例在CHAIR-500上分别为61%、77%和86%,在AMBER上为20%、64%和103%,六个区间都不含零;若改为对齐字幕词数,同一偏置只能复现0%到24%,因为等召回时偏好优化字幕比停句曲线上的字幕长1.3到1.8倍。 在两个互不重叠的500张COCO图像集上,全部模型以批大小16解码时复现比例为58%、61%和74%,停句控制后的剩余增益分别为4.99、4.61和2.46个CHAIRi点,区间均不含零;HA-DPO原始增益仅2.32点,停句控制后区间包含零。
偏好优化字幕丢掉的物体类别不会因为写得更长而回来:给偏好优化模型的端符logit加负偏置、最多生成512个token,RLAIF-V、CHAIR-DPO和CSR只找回2%、9%和4%的丢失召回,新增物体提及中只有6%、4%和4%指向新类别。 同一张图的基础模型字幕在CHAIR开发集上仍命名了这三个模型漏掉的真实类别的47%、48%和47%,而加负偏置后的偏好优化字幕只覆盖2%、13%和2%,说明丢失的类别信息在偏好优化字幕中已不存在,而非被停句决定截断。 该探针在贪心解码、512 token上限和固定字幕提示下进行,三个模型在十个校准折中没有任何偏置能把召回带到距基础召回一个点以内,且不到5%的字幕触及长度上限;HA-DPO只丢4.5个召回点并能找回58%,但其60.6%的字幕在匹配偏置下触及长度上限。
一种免训练的基础引导物体类别恢复,把基础字幕独有且基础模型高置信度命名的类别以固定句式追加到偏好优化字幕,使三个检查点在留出集上回到基础召回一个点以内,同时不同物体幻觉率仍低于基础模型。 恢复后RLAIF-V、CHAIR-DPO和CSR的召回为79.2、79.5和79.7,基础模型为80.1;不同物体幻觉率为21.6、25.0和25.8,比基础模型的26.9低5.24、1.85和1.08个点,三个区间都不含零,但高于原始偏好优化字幕,即只保留了部分偏好优化收益。 阈值只在CHAIR开发集上选定并在生成留出集前固定;与随机追加基础独有类别相比,恢复的不同物体幻觉率低3.77、1.59和1.59个点;追加类别中只有44.8%、41.4%和44.6%在真实标注中,基础置信度区分正确与幻觉候选的AUC为0.68到0.69,换图后降到0.52到0.54。
启示与展望
结论建立在LLaVA-1.5-7B一个骨干、贪心解码和一个详细描述提示之上,两个COCO图像集互不重叠但同源;停句曲线只属于端符偏置这一策略族,等召回时字幕长度和物体密度仍不相同;恢复只覆盖各基准识别的物体类别或名词词元,追加句为模板,因此只评价类别恢复而不评价字幕流畅度。
停句复现比例是复现比,不对训练效应作因果断言;所有区间为名义95%区间,未做多重比较校正;属性与关系幻觉、以及未能通过校验的检查点不在研究范围内;恢复追加的类别中超过一半是幻觉,其相对基础停句曲线的优势只在RLAIF-V接近基础召回处以及RLAIF-V和CHAIR-DPO的中间召回处成立,CSR未见该优势。
