跳到主要内容
返回时间线
arXiv来源发表:

多模态推理的熵曲线成了报警器:SEED在解码中重对齐视觉,六项基准上平均提升3.2%–3.7%

核心概要

多模态大模型在长链推理中常出现与图像不符的幻觉,SEED把解码过程中的信息熵当作实时诊断信号:当轨迹同时处于相对低熵收敛和局部熵突增时,触发一次视觉注意力重对齐。该方法无需训练,在Qwen3-VL-8B、Qwen3-VL-4B和Llama-3.2-11B三个骨干、六项基准九种设置上平均提升3.2%–3.7%,推理延迟增加不到5%。

Source-provided article image: Entropogram-guided Visual Realignment Decoding: Capturing the Rhythm of Multimodal Reasoning
arXiv

深度剖析

多模态大模型的幻觉不再只被当作某个词预测错了,而被看作解码轨迹上可观测的动力学状态:模型在整体过度自信的低熵区间里运行,同时出现局部熵突增,就进入易幻觉状态。 此前的免训练解码方法主要判断哪些词是幻觉词并加以抑制,把熵当作词级置信度,没有考察多模态信息在生成过程中如何随时间整合。 在Qwen3-VL-8B于M3CoT上生成的1,228条视觉问答轨迹中,763条含幻觉、465条正确;幻觉起点处的平均熵跳变为0.245,正确轨迹为0.012,起点之前的差异则小得多。

检测到这种状态后,SEED在语言模型第一层注入一个按视觉显著性加权的图像表示,把模型的注意力拉回图像证据。 干预发生在注意力层面而非最终输出层,且只在触发时执行,不改动模型结构,也不需要额外训练。 在Qwen3-VL-8B、Qwen3-VL-4B和Llama-3.2-11B三个骨干上,跨VStar、MMVP、VisOnly、M3CoT、POPE与HallusionBench六项基准九种设置,平均提升3.2%–3.7%;在POPE与HallusionBench上,Qwen3-VL-8B和Qwen3-VL-4B分别平均提升2.5%和3.6%。

这套干预的代价很小:端到端延迟从每词3.30毫秒升到3.45毫秒。 作为对照,VCD的延迟增加54%,MemVR增加157%,OPERA增加333%。 在四个NVIDIA RTX 5090 GPU上、最大生成长度512词的推理设置中测得,超参数在M3CoT的小规模留出集上选定一次后跨骨干、跨基准固定。

启示与展望

演示范围是Qwen3-VL-8B、Qwen3-VL-4B和Llama-3.2-11B三个骨干在六项多模态推理与幻觉基准、九种评测设置上的零样本结果,干预超参数在M3CoT的小规模留出集上选定一次后固定。

熵动态与幻觉之间建立的是相关性,SEED只把它当作检测信号,并不主张因果;注入的视觉表示与查询无关,在跨注意力架构的Llama-3.2-Vision上需要尺度对齐,并在MMVP和POPE上出现0.2–1.8个百分点的下降,其中POPE的净下降主要来自不符合是/否格式的输出增多,而非物体幻觉增加。