跳到主要内容
返回时间线
arXiv来源发表:

视频智能体越堆越复杂却常不如直接看:SAVE用简单探索在Minerva上以约六成成本追平原生推理

核心概要

在统一Gemini 3 Flash与Gemma 4两个骨干、并计入token与费用的受控评测中,多数现有视频推理智能体未能稳定超过直接调用骨干的原生推理,且往往更贵。SAVE保留最简交互循环,只把查询单位从单帧改为时间区间,并按区间长短自适应调整场景切分与视觉分辨率。在Minerva上,SAVE用Gemini 3 Flash取得66.4%准确率,与原生推理的64.8%相当,推理费用降低约60%。

Source-provided article image: SAVE: Less is More in Agentic Video Reasoning
arXiv

深度剖析

把多模态骨干固定为同一个模型后,视频推理智能体带来的增益大幅缩水:在Gemini 3 Flash上,被评测的既有智能体在Minerva、EgoSchema和VSIBench上都没有超过直接调用骨干的原生推理,其中若干还显著更贵。 此前各智能体方法使用不同的骨干、预处理流程和计算预算,难以判断性能究竟来自框架本身还是来自更强的底层模型。 在Gemini 3 Flash上,原生推理在Minerva为64.8%、EgoSchema为75.4%、VSIBench为59.2%,而VideoTree、VideoAgent、VideoLucy、VideoCuriousAgent、DeepVideoDiscovery和A.I.R.在三个基准上均未超过对应原生数值。

SAVE把智能体的查询动作从单个帧扩展为一段连续时间区间,骨干只需指定起止帧号,就能一次取回一段视频的证据。 最简基线每次只取一帧,缺少时间上下文,这被认定为该基线的主要瓶颈。 在Minerva上,最简主动探索基线取得52.8%,改为按场景取帧后升至62.7%,再加入细粒度查询的高分辨率帧后为63.3%,最终加入自适应阈值后为66.4%。

对每个请求区间,系统用场景检测切分视频并返回各场景的中间帧,场景检测的阈值随区间长度自动调整。 固定阈值在细粒度运动片段上可能切不出有意义的语义边界,导致智能体选错查询粒度。 若初始阈值切出的场景太少,阈值逐步降低直到覆盖足够;仍不足时用区间内均匀采样帧补齐,窄区间以更高分辨率返回以保留细节。

在六个骨干与基准组合中,SAVE在其中五个上优于所有被评测的既有智能体方法,同时通常消耗更少资源。 既有智能体在统一骨干下未能稳定超过原生推理,因此需要一个既简单又能在准确率与成本之间取得更好折中的方案。 在Minerva上,SAVE以Gemini 3 Flash取得66.4%,比被评测的既有智能体中准确率最高的VideoLucy的56.5%高9.9个百分点,费用低79%;在Gemma 4上,SAVE取得62.4%,每题19.7K token,而VideoLucy为72.0K。

启示与展望

评测覆盖Gemini 3 Flash与Gemma 4两个骨干、Minerva、EgoSchema和VSIBench(tiny)三个基准,效率以token消耗和推理费用衡量;作者指出未纳入LVBench这类超长视频基准,也未计入端到端时延。

作者说明标准化异构方法需要改动骨干调用、提示与工具接口,可能影响各方法行为;效率分析只覆盖token与推理费用,未包含受API限流、网络波动和硬件差异影响的端到端时延。MR Video因预处理超过300万token、AVP因依赖Gemini原生视频接口而未能纳入统一对比。