跳到主要内容
检索

# 自我中心视频描述生成

1 篇关联报道

订阅更新
  1. arXiv

    第一视角视频字幕不再只给一句话:EgoCaptioner把整段活动拆成带起止时间的步骤,EgoHome时序对齐PSJ达75.51

    第一视角视频的字幕长期在细节与时间戳之间取舍:通用字幕模型覆盖场景却不绑定佩戴者动作,密集段落又说不清每个动作何时开始。EgoCaptioner把描述分成视频级概览与带起止时间的步骤两层,用先定事件结构、再展开步骤描述的两阶段标注构建5万条训练样本,并以事实、时序、文风三类奖励做强化学习。在五个第一视角基准上,它在所评估的开源模型中字幕质量、字幕问答与时序对齐均领先,EgoHome步骤分割PSJ为75.51,PhysCapBench总分78.84,高于Gemini 3.1 Pro。

已读完全部报道