流式视频智能体学会何时沉默:BLIP-Live用PAUC-F压住重复触发,ProactiveVideoQA均值49.08超此前最好44%
核心概要
BLIP-Live把流式视频中的主动响应重新定义为“该说时说、不该说时沉默”的因果决策,并围绕这一目标统一了数据、指标、推理外壳与训练。它构建了含784,944条人工核验响应、同时标注响应内容与时间区间的BLIP-Live-780K数据集,并提出兼顾及时性与触发精确率的PAUC-F指标。训练得到的BLIP-Live-Qwen在四个主动流式基准上取得最优,ProactiveVideoQA均值49.08,较此前最好的MMDuet2的34.01高出44%。
深度剖析
流式视频智能体不再只被要求答对内容,还要在每一秒决定开口还是保持沉默,重复开口和过早开口都会被计入代价。 此前的PAUC只统计金标准时间窗内的召回,窗内重复响应不影响得分,窗外触发也被丢弃;ESTP-F1补上了窗外触发的精确率,却忽略窗内重复,且召回需要依赖具体任务的计时项。 在模拟过度触发的对照中,同一策略叠加1、5、10、100次窗外触发时PAUC恒为0.2575,而PAUC-F从0.4095依次降到0.3399、0.2024、0.1344和0.0191。
PAUC-F把原有的质量加权及时性与一个触发精确率项取调和平均,使“多说话换召回”不再划算。 精确率的分母计入所有发出的响应,包括窗外触发;每个金标准轮次最多只有一次窗内触发能贡献分子,其余触发只增加分母。 分别以PAUC和PAUC-F为目标调优两个推理外壳变体后,10名评分者在ProactiveVideoQA的WEB与EGO划分各20个样本上,分别有94%和97%的偏好投向PAUC-F版本。
同一套流式接口既用于冻结模型的推理外壳,也用于监督微调,模型在每秒输出沉默、响应或保持三种状态之一。 此前的推理外壳多为手工设计,只承担把离线模型搬到流式设定的适配作用,并未针对主动性本身做优化。 在固定Qwen3.5-A3B骨干、训练配方与推理外壳的条件下,用BLIP-Live-780K训练把四划分平均PAUC-F从42.94提升到49.08。
启示与展望
演示范围是1 Hz决策率下的流式视频问答:冻结模型的外壳调优与校准、以及基于BLIP-Live-780K的监督微调,评测覆盖ProactiveVideoQA四个划分、ESTP-Bench、StreamingBench的PO划分与OVOBench的CRR任务。训练与推理均在H200节点上完成,作者表示数据、代码与模型检查点将公开。
作者指出,人类偏好研究只检验过度触发是否不受欢迎,并未建立指标在广泛模型对之间的排序一致性;两个骨干的搜索收敛只说明跨骨干一致,不构成在随机验证子集上的稳定性。决策率固定为1 Hz以对齐此前工作,更高频率可能改善时间分辨率但未做评估;更长的视觉窗口未提升冻结模型外壳,微调模型在最多32帧内受益。
