FOCUS 让视频模型只在场景变化时调用:EgoSchema 上 25.4 次调用追平 55 次调用的精度
核心概要
流式视频理解不必逐帧调用视觉语言模型。FOCUS 用同族小模型的图像块嵌入差异判断场景是否真正变化,只在变化时触发一段连续帧的推理,再把解码器注意力回灌为下一段的空间先验。在 500 段 EgoSchema 子集上,它用每段 25.4 次调用取得 74.8% 准确率,而均匀采样用 55 次调用取得 74.6%。
深度剖析
视频视觉语言模型的推理开销从“每帧都调用”变成“场景有意义变化时才调用”,且每次调用被引导到画面中与任务相关的区域。 此前的做法要么按固定间隔均匀抽帧,对内容不敏感、可能漏掉短暂事件;要么在模型内部裁剪视觉 token,降低单次调用成本,却仍在每个采样帧上调用模型。 在 500 段 EgoSchema 子集、所有方法共用 Qwen3-VL-8B 主干并保持相同节奏的流式设置下,FOCUS 以每段 25.4 次调用达到 74.8% 准确率,均匀采样以 55 次调用达到 74.6%,BOLT 以 55 次调用达到 74.2%。
系统分三层工作:先决定这一帧要不要处理,再决定模型在画面里看哪里,最后用模型自己的注意力修正下一次的注视位置。 门控在 Qwen2-VL-2B 的图像块嵌入空间里计算相邻帧的余弦差异,超过阈值才开启一段连续帧采集,因此判断依据是模型使用的语义特征而非像素。 每段连续帧的块级差异取最大值后,与上一段反馈回来的注意力先验融合成空间焦点图,用于缩放解码器值缓存中视觉 token 的值,不删除任何 token;在 25 段第一人称视频字幕评测上,带反馈的 FOCUS 发出 222 次调用,均匀采样为 516 次。
启示与展望
演示范围是流式第一人称视频:EgoSchema 的 500 段三分钟片段用于问答,25 段来自 Ego4D、EPIC-Kitchens、Ego-Exo4D 和 GR-1 遥操作录像并另加一段内部录像的视频用于字幕评测,所有方法共用 Qwen3-VL-8B 主干与相同节奏。作者明确不把该方法推荐为唯一感知通道,用于漏检事件会带来安全后果的场合。
作者说明 EgoSchema 上的准确率差异落在 500 题基准的一到三题之内,五次运行无法分辨,因此不主张精度胜出;字幕评测只有 25 段且由模型评分,各方法差距在配对检验下未达显著,只能作为逐项诊断。门控本质上是决定不看,帧间差异低于阈值的事件不会触发采集,超时只限制最长不观察时间,并不保证捕获特定事件。
