偏好优化让视觉语言模型少说也少看:基础模型提前停句就能复现58%到86%的幻觉改善
四个公开的LLaVA-1.5-7B偏好优化检查点在降低物体幻觉的同时,也把CHAIR-500上的物体召回从80.5降到65.1至76.2,且集合级物体F1没有显著提升。让基础模型用正端符(EOS)logit偏置提前停句、达到各偏好优化模型的召回水平,在两个互不重叠的500张COCO图像集上复现了RLAIF-V、CHAIR-DPO和CSR的CHAIRi改善的58%到86%。反过来让偏好优化模型写得更长,只能找回2%到9%的丢失召回,新增物体提及中94%到96%是重复已说过的类别。