HubEgo-100K首版放出1万小时第一视角技能劳动视频:1.2万名拍摄者、1.5万个环境,专为多样性而建
核心概要
HubEgo-100K发布首个版本v1.0,包含10,124小时1080p第一视角视频,由12,227名拍摄者在自己的工地、车间或家中记录未脚本化的技能劳动,覆盖15,548个环境、11类场所、30个工作类别和56种任务类型,其中83%的小时数来自工作场所。数据集针对模仿学习泛化依赖环境与物体多样性这一已发表结论而设计,每段视频配有同步约100 Hz的惯性数据和机器生成的动作与语言标注,以CC BY 4.0发布。作者同时说明,本版本尚未训练基线策略,多样性对策略性能的作用留待后续版本验证。
深度剖析
机器人模仿学习策略在训练环境之外泛化很差,而已发表的数据规模研究显示泛化随训练环境和物体的多样性增长,而不是随每个环境的演示数量增长。 机器人数据跨环境采集代价高,DROID用50名采集者在12个月内只覆盖564个场景、350小时;已有的第一视角视频数据集多记录日常生活、厨房或实验室脚本任务,真实工作场所中的技能劳动很少。 v1.0在表1所列报告人数的数据集中,其他数据集为9至2,087人,本数据集有12,227名拍摄者;其他数据集报告45至610个厨房、地点、场景或房间,本数据集有15,548个环境。
拍摄者用头戴手机在自己的工作场所或家中记录一个有名称但无脚本的任务,光线、杂物、工具和材料都保持原样。 采集流程先用视觉语言模型做时间分段,只保留拍摄者双手执行所记录任务的片段,再用两个视觉语言模型组成的面板逐秒判断手部可见性,剔除手大部分出画的录像,并剪掉儿童、他人面部和私人文字出现的画面。 按模型估计,至少一只手出现在94.7%的采样帧中,双手出现在76.3%,在任务上的时间占比为96.9%;83.0%的小时数位于手部出现在至少90%采样帧的片段中。
数据集沿每条多样性轴给出计数和小时分布的均匀度,并报告在v1.0内部按随机顺序取片段时新拍摄者和新词仍持续出现。 此前数据集很少同时报告人数、地点数以及小时在这些轴上的分布均匀程度,本版本对拍摄者、环境、场所类型、工作类别、任务类型和动作族逐轴报告。 没有任何拍摄者占超过0.22%的小时数,拍摄者的有效数目为5,666;最后10%的小时数平均新增356名拍摄者、570个环境和约84个名词词元。
启示与展望
本报道与数据集描述的范围限于v1.0:10,124小时、72,754个片段、12,227名拍摄者、15,548个环境,视频为1080p、30 fps单目,惯性数据为加速度计和陀螺仪、原生中位速率99.98 Hz。数据面向机器人学习与感知研究,以CC BY 4.0在Hugging Face发布,目录和标注表可不下载视频直接读取。作者提出的下一步是在数据上训练基线,包括预训练视觉编码器和与机器人数据联合训练的策略,并在拍摄者不相交的划分上评估。
标注由机器生成且未经人工审核,手部可见性和在任务占比都是模型估计;惯性原生采样率随操作系统不同,iOS约100 Hz、Android中位约497 Hz;相机标定未提供,相机与惯性传感器之间的残余时间偏移尚未测量;任务类型经过重新平衡,其小时占比不反映任务在现实世界中的出现频率。
