跳到主要内容
返回时间线
arXiv来源发表:

第一视角视频字幕不再只给一句话:EgoCaptioner把整段活动拆成带起止时间的步骤,EgoHome时序对齐PSJ达75.51

核心概要

第一视角视频的字幕长期在细节与时间戳之间取舍:通用字幕模型覆盖场景却不绑定佩戴者动作,密集段落又说不清每个动作何时开始。EgoCaptioner把描述分成视频级概览与带起止时间的步骤两层,用先定事件结构、再展开步骤描述的两阶段标注构建5万条训练样本,并以事实、时序、文风三类奖励做强化学习。在五个第一视角基准上,它在所评估的开源模型中字幕质量、字幕问答与时序对齐均领先,EgoHome步骤分割PSJ为75.51,PhysCapBench总分78.84,高于Gemini 3.1 Pro。

Source-provided article image: EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning
arXiv

深度剖析

第一视角视频的字幕现在同时给出整段活动的概览和逐条带起止时间的步骤,关键瞬间以时间戳单独标出。 此前的通用字幕模型只广泛描述可见场景,不把叙述绑定到佩戴者的动作上;已有的第一视角字幕器多输出简短叙述或专攻手物操作,导航与社交互动描述不足。 在五个第一视角基准上,EgoCaptioner在所评估的开源模型中字幕质量、字幕问答与时序对齐均居首,并在Minerva-Ego上超过所有被评估的专有模型,在PhysCapBench上超过Gemini 3.1 Pro。

训练数据由两个多模态大模型分工生成:Gemini先写出概览,Seed2.1 pro切出事件边界、类型与步骤提纲,再由Gemini把提纲扩写成带时间戳的步骤。 单遍标注让标注器在一次阅读中同时切分和描述,边界更粗、步骤级事实更少;两阶段流程先固定事件结构,再借助事件片段及其前后各最多1秒的上下文描述每一步。 在相同源视频、训练量、输出格式与超参数下,两阶段标注在各项指标上均优于单遍标注,EgoTempo准确率由26.60升至36.40,Minerva-Ego由7.14升至18.57,EgoHome的PSJ由62.89升至71.63。

强化学习阶段用三类奖励共同约束生成:事实奖励衡量描述是否忠实完整,时序奖励衡量步骤边界与粒度是否对齐,文风奖励惩罚碎片化与重复的步骤。 去掉事实奖励后所有指标都低于仅做监督微调的起点,因为其余奖励只监督时间与文风、不约束内容;去掉时序奖励则PSJ低于监督微调而METEOR不受影响。 在8,000条覆盖三类字幕任务的视频—指令对上做GRPO,完整目标下METEOR为20.40、SODA-d为56.38、PSJ为75.51;去掉文风奖励时METEOR为20.41、SODA-d为55.23、PSJ为73.22,即METEOR略高而SODA-d与PSJ更低。

启示与展望

评估覆盖EgoMe、EgoHome、PhysCapBench、Minerva-Ego与EgoTempo五个第一视角基准,其中Minerva-Ego与EgoTempo被改造成只让评判模型读取生成字幕与问题的字幕问答协议;模型从Qwen3.5-9B初始化,用LoRA微调后再做GRPO,推理时按目标4帧每秒均匀采样、最多240帧。

字幕问答协议由Gemini 3.8 Flash仅凭生成字幕和问题作答、再由同一模型对照参考答案评判,因此结果反映的是字幕作为文本接口的可用性;姿态导出的运动事实只在有传感器记录的视频上作为额外参考事实加入。消融显示去掉文风奖励时METEOR为20.41、略高于完整目标的20.40,而SODA-d由56.38降至55.23、PSJ由75.51降至73.22。