视觉语言模型不再整层压制幻觉:按注意力头归因,COCO多标签上CHAIR-i从18.0降到8.6
视觉语言模型常描述图中不存在的物体,以往抑制手段多在输出层或整层注意力上做干预,难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分,再在解码中抑制幻觉头、增强忠实头,无需训练。在1000张多标签COCO子集上,它把CHAIR-s/i从66.7/18.0降到43.4/8.6,F1从73.0升到77.0。
视觉语言模型常描述图中不存在的物体,以往抑制手段多在输出层或整层注意力上做干预,难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分,再在解码中抑制幻觉头、增强忠实头,无需训练。在1000张多标签COCO子集上,它把CHAIR-s/i从66.7/18.0降到43.4/8.6,F1从73.0升到77.0。
大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家,分别学习物体、属性与关系三个方面的图文对应,再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次,即可直接接入使用同一视觉编码器的其他模型;在LLaVA-1.5 7B上,MME幻觉子集总分由555.38升至582.34,GIFT幻觉率由23.39%降至20.30%。
TraceSteer 把扩散语言模型上一步的预测当作反馈,逐步调整激活干预的方向和强度,在 LLaDA-8B-Instruct 与 Dream-7B-Instruct 上提升了 TruthfulQA 的事实可靠性。
同一处视觉残差编辑在解码器逐层施加、强度对齐后,效果在某一层之后持续下降,这个下降点被称为证据锚定边界;据此按题型校准的选择性路由在三个检查点上把全属性集准确率提高,而全量相减则中性或有害。
OPT-Kraken 把大模型生成的优化模型与求解代码当作冻结产物做事后修复,在六个基准上把零样本准确率从 44.8% 提到 64.9%,同时只让 0.6% 原本正确的输出变错。
该工作重新审视视觉语言模型解码器中的视觉注意力汇,发现早期与末层解码器在不同提示下反复把注意力集中到同一批图像区域(称为提示无关汇 PIS),而中间层才随查询变化并承担视觉-语言对齐;据此提出免训练的 SAGE,用来自 CLIP、ViT、DINOv3 等标准视觉骨干的 token 对齐 ROI 掩码对视觉 token 注意力 logits 施加加性偏置,把注意力从 PIS 引向查询相关区域,在 LLaVA-1.5、Qwen2-VL、InternVL3、NVILA 等模型上改善视觉定位、降低幻觉并在多项公开基准上取得增益。
该工作提出免训练的 Relevant Evidence Decoding(RED),用逐点互信息把音视频联合预测拆分为音频、视频与残差交互三部分,并通过仅问题推理判断所需证据类型后只增强对应贡献;在三个音视频幻觉基准与三个 AV-LLM 上,RED 相对标准解码最高提升 CMM 7%、AVHBench 6.3%、SVHalluc 3.8%,平均首 token 时间约为标准解码的 1.5 倍。
该工作识别并形式化定义了“幻觉逃逸”:现有工具幻觉缓解方法在其调优的工具配置上降低幻觉,却在其他配置上增加幻觉;作者发现模型存在内在工具使用倾向,与运行时配置冲突时幻觉急剧上升,而现有方法反而强化这些倾向;据此提出免训练推理时方法 EscapeGuard,通过冲突感知门控与配置导出的注意力增强,在六个基准与多种模型上将工具选择幻觉降低 9.0 个百分点,跨配置均值下降 23.7 个百分点,配对查询净提升 89.1%。
该工作提出 HEAL,通过对多头注意力输出施加因果噪声干预并用反事实双重差分把注意力头分为冗余、视觉、语言与协同四类,发现幻觉发生在协同头内部视觉—语言信息分布偏离健康均衡之时,而非与模态专属头的数量或强度强相关,并据此在推理时向协同头的 value 向量注入动态校准因子,在多个 MLLM 与多个基准上降低了幻觉。
已读完全部报道