跳到主要内容
返回时间线
arXiv来源发表:

OmniConfess 用逐 token 的通道证据归因,在文本、图像、音频、视频混合设定中缓解全模态幻觉

核心概要

该工作提出免训练的 OmniConfess:固定候选回答,在受控的逐通道证据干预下以 token 粒度重新打分,得到结构化的“token×通道”归因,据此保留有依据的内容并纠正由无关或矛盾证据驱动的表述,同时构建了由六个数据集组成、含 3,540 个样本、覆盖文本、图像、音频、视频以及判断与自由生成任务的 OmniHalluBench,实验显示其在异构模态与任务设定下缓解幻觉。

Source-provided article image: OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
Figure 1 · arXiv

深度剖析

提出 OmniConfess,一种免训练的全模态幻觉缓解方法,通过固定候选回答并在受控的通道级证据干预下以 token 粒度重新打分,生成结构化的 token-by-channel 归因,揭示回答对证据的依赖关系。 既有推理时方法可以降低幻觉,但很少揭示是哪些证据支撑了某个生成表述;该工作把“证据依赖”显式化为可读的逐 token、逐通道结构。 摘要层面描述的方法设计,强调免训练与推理时干预;具体实现细节、干预方式与打分公式未在给定文本中展开。

利用该归因结果,OmniConfess 保留有依据的内容,并纠正由无关或矛盾证据驱动的表述。 把归因从诊断信号转为可操作的修正依据,区分“有据可依”与“被错误证据驱动”两类内容。 摘要给出的方法目标陈述;未提供修正前后的定量对比数字。

构建 OmniHalluBench,一个由六个数据集组成、含 3,540 个样本的基准,覆盖文本、图像、音频、视频设定以及判断与自由生成两类任务。 为全模态幻觉评估提供了跨模态、跨任务形式的统一测试集合,弥补以往评测多集中于单一模态或单一任务形式的局限。 摘要明确给出样本量 3,540 与数据集数量六,并说明覆盖的模态与任务类型。

实验显示 OmniConfess 在异构模态与任务设定下缓解幻觉,且代码与基准公开可用。 在多种模态与任务组合上验证方法的适用性,并公开代码与基准以支持复现与后续比较。 摘要层面的总体实验结论;未给出具体指标数值、基线名称或效应量。

启示与展望

该工作面向全模态大模型在推理阶段的幻觉问题,适用于文本、图像、音频、视频混合输入以及判断与自由生成两类任务设定;方法为免训练,意味着可在不重新训练模型的前提下接入推理流程。其归因输出面向需要了解“回答依赖哪些通道证据”的使用者,例如需要审查模型表述依据的评测与调试场景。公开的代码与 OmniHalluBench 基准为后续在同一测试集合上开展比较提供了条件。

给定文本为摘要层面,未列出具体评价指标、基线系统与逐项结果,因此无法判断缓解幅度与在不同模态上的相对强弱。通道级证据干预的具体构造方式、token 粒度重打分的计算细节、以及归因如何转化为保留或纠正决策,均需查阅正文确认。OmniHalluBench 由六个既有数据集构建,其样本构成与任务分布细节未在摘要中说明,跨数据集结论的一致性有待正文数据支持。此外,摘要未说明方法在何种模型规模或模态组合下失效,这一范围问题可作为后续观察点。