跳到主要内容
返回时间线
arXiv来源发表:

长视频问答不再先删帧:NullTok用同位置对照查询校准证据,64帧预算下Video-MME双骨干领先

核心概要

长视频问答的瓶颈在于视觉 token 太多,而先选帧再压缩 token 的流程一旦漏掉含小物体或短暂动作的帧,证据就无法找回。NullTok 改为在采样到的全部 token 上先做评估:用同一视频、同一位置的 64 个无关对照查询构造经验零分布,把目标查询的相似度换算成右尾蒙特卡洛 p 值,再经高召回语义保护、视觉去重和帧- token 联合预算分配选出稀疏输入。在冻结的 LLaVA-Video-7B 与 Qwen3-VL-8B 上,64 个整帧当量预算、无字幕无音频时,Video-MME 分别达到 65.81% 和 68.85%,两个骨干下均高于同预算的全部对比基线。

Source-provided article image: NullTok: empirical-null token selection for training-free long video understanding
arXiv

深度剖析

长视频输入压缩不再按帧整块取舍,而是在采样到的所有时空位置上先判断哪些 token 对当前问题真正特殊,再决定保留谁。 此前的做法是先检索相关帧或片段、再压缩其视觉 token,细粒度选择受制于初始检索的覆盖范围,含小物体、短暂动作或细微属性的帧一旦被排除,其 token 便无法进入后续压缩。 在 64 个整帧当量预算、不使用字幕与音频的条件下,Video-MME 上冻结 LLaVA-Video-7B 得 65.81%、Qwen3-VL-8B 得 68.85%,两个骨干下均高于同预算评估的全部基线;与先检索 256 帧再由 MMTok 压到同一预算的 QCA+MMTok 相比,LLaVA-Video-7B 上为 65.81% 对 65.07%。

判断一个 token 是否值得保留,靠的是它在同一位置上相对无关查询有多突出,而不是相似度分数的绝对高低。 原始查询- token 相似度在不同视频和不同位置上没有统一尺度,宽泛措辞或视觉纹理都可能推高分数,因此需要一个参照来说明同一坐标对结构相近但无关的查询会给出多高的响应。 每个 token 用 64 个按语义组匹配、取自其他视频的对照查询在同一坐标打分,构成局部经验零分布,目标分数换算为右尾蒙特卡洛 p 值;在条件可交换假设下该 p 值逐 token 边际地超均匀,这一保证是逐 token 的,不覆盖最终掩码的整体错误率。

校准后的候选还要经过语义保护、视觉去重和一次联合分配,才能在固定预算里同时照顾时间覆盖与空间细节。 候选之间仍可能视觉冗余、时间分布不均,仅靠打分筛选无法把它们变成符合预算的紧凑输入。 高召回语义保护先保住高分 token,冻结嵌入上的确定性去重按相似度阈值剔除冗余,再按帧相关性与候选密度把预算分配到各帧;在 Qwen3-VL-8B、16 个整帧当量的 MLVU 上达到 70.26%,比 MMTok 高 1.43%,比 OTPrune 与 ReDiPrune 各高 1.38%。

启示与展望

演示范围是冻结的 LLaVA-Video-7B 与 Qwen3-VL-8B 两个骨干,在 Video-MME、LongVideoBench、MLVU 上以 64 个整帧当量为主要预算、不使用字幕与音频,另在 Qwen3-VL-8B 的 MLVU 上给出 16 个整帧当量的对照;适合关注长视频多模态推理输入压缩的研究者与工程读者。

统计保证是逐 token 边际的,前提是条件可交换,对最终掩码的族错误率或错误发现率控制需要额外分析且未被声称;LongVideoBench 上 WFS 在两个骨干上仍更强、QCA 在 Qwen 上也更强,MLVU 上 LLaVA-Video-7B 的 NullTok 为 67.73%,低于 WFS 的 71.73%。