EviBridge把预测性视觉证据接进交互模型:工具交接总评分从0.2178升到0.6448
核心概要
在流式视频里,助手要在工人开口之前就准备好工具,并在请求撤回时取消准备。EviBridge把冻结的V-JEPA 2预测编码器特征经可训练接口送入语言解码器,同时保留观测的时间与顺序信息,让模型联合判断交互状态和该递哪件工具。在FuGIBench的1000段合成工具协助视频上,EviBridge-E的最佳变体E-RecentHist总评分为0.6448,其任务适配原生基线E-Native为0.2178;EviBridge-I的最佳变体I-MLP为0.5892,对应基线I-Native为0.5327。
深度剖析
工具交接助手不再等到指令出现才行动,而是在观察到动作走向时提前进入准备状态,并持续评估这次交接是否仍然成立。 此前的流式交互模型只在交互线索出现后决定说什么,缺少在回应尚不必要时就开始准备、并在请求撤回时取消准备的机制。 在FuGIBench的1000段评估视频上,EviBridge-E的最佳变体E-RecentHist总评分为0.6448,任务适配原生基线E-Native为0.2178;EviBridge-I的最佳变体I-MLP为0.5892,对应基线I-Native为0.5327。
模型把预测性视觉特征和原生视觉输入一起送进语言解码器,用同一套自回归生成同时输出交互状态和工具信息。 冻结的V-JEPA 2编码器只做特征提取,可训练的证据接口负责把这些特征映射到解码器空间,并保留观测的时间属性或顺序。 EviBridge-E显式编码近期与历史证据的类型、年龄和空间位置,EviBridge-I保留池化特征的槽位顺序与交互轮次顺序并生成专用交互标记;两者都在FuGIBench的目标交接、长等待和取消请求三类片段上评估。
预测性证据带来的收益覆盖了交接成功、长时间无请求和请求被撤回三种情形。 现成基线在取消请求上得分最高不超过0.5000,且部分模型在标注的等待区间内频繁误激活。 在取消请求片段上,E-RecentHist为0.9056、E-Recent为0.9017,E-Native为0.2115;I-MLP把I-Native的0.6157提升到0.8311。
启示与展望
评估限定在FuGIBench的1000段合成工具协助视频上,包括600段目标交接、200段长等待和200段取消请求,视频按4 FPS回放、每秒解码一次;结论针对工具交接这一交互设定,作者提出后续将探索自适应选择与聚合预测性视觉证据的架构,并在更广的场景与任务上评估。
在E-RecentHist上把年龄分支输出置零后,总评分从0.6448降到0.3127、准备分降到0.0037,说明该变体对年龄编码依赖明显;置零类型或位置带来的总评分变化小于0.004。E-RecentHist的准备分低于E-Native,后者较高的准备分伴随在参考等待区间内的频繁激活。
