跳到主要内容
返回时间线
arXiv来源发表:

五个追踪器加手套就能记录全身操作:EgoExplorer公开100小时视-动-触数据,身体点误差18.0毫米

核心概要

可穿戴采集系统EgoExplorer把第一人称视频、全身运动、手指关节和触觉记录对齐到同一时间轴,覆盖实验室、工厂和家庭等五个环境,共2,715段、100小时。此前的数据集往往只给出其中一部分:第一人称视频看不到身体,穿戴式追踪缺少手指与接触测量,手部数据集又常缺全身运动。为从五个稀疏追踪器中恢复全身运动,采集流程先校准身体尺寸与传感器安装位置,再用时间先验补全未观测关节,并在分层约束下细化;在与追踪器拟合参考标签的对照中,身体点误差为18.0毫米,相对最强基线降低71.9%。

Source-provided article image: EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ
arXiv

深度剖析

EgoExplorer把第一人称视频、重建的全身运动、手套测得的手指关节和触觉观测对齐在同一批连续记录里,并配有步骤级文字描述,覆盖接近目标、调整姿态、操作物体和移动等连续过程。 此前的公开数据只覆盖其中一部分:第一人称视频保留视觉上下文但身体大部分未被观测,穿戴式身体追踪常缺细粒度手指关节和物理接触测量,以手为中心的数据集则通常不含伴随的全身运动。 数据集包含2,715段第一人称记录、合计100小时,跨十个任务模板和五个环境,以实验室、工厂等职业活动为重点;实验室活动占记录数的41%、时长的46%。

从五个稀疏追踪器恢复全身运动时,采集流程先把固定的身体-传感器几何关系与随时间变化的关节运动分开估计,再补全未被观测的关节。 直接拟合存在歧义:每个追踪器位姿同时取决于安装变换和身体运动链,不同的安装偏移与关节构型组合可以解释同一组稀疏测量,安装误差会被吸收进估计出的运动里。 校准阶段把规定的动作序列与参考动作库按相位匹配,一次性拟合身体形状、尺度和传感器到解剖锚点的变换;随后用时间运动先验从五个锚点生成初始全身轨迹,再在骨骼测量一致性、身体表面间隙和地面不穿透三层约束下联合细化。

在与追踪器拟合参考标签的对照中,EgoExplorer的身体点误差为18.0毫米,非追踪点为20.3毫米,低于表中列出的三种基线设置。 表中五个锚点的AvatarPoser∗身体点误差为64.1毫米,三个锚点的公开基线在114.7至235.3毫米之间;相对最强基线,身体点误差降低71.9%。 评测在专门构建的Evaluation Subset上进行,参考标签由同一套五追踪器细化流程生成并逐帧复核,与追踪器一致到5毫米以内,因此该一致性并非独立光学真值精度。

手套直接测量手指关节与接触,在匹配配置的手部测试中保持稳定度优于视频重建方法。 视频手部重建方法HaWoR的保持均方根为4.5毫米、HandFlow为11.3毫米,而手套配置为0.4毫米,并达到100%的运动学目标恢复率。 区域接触评测中手套配置的IoU为0.915,对比HACO的0.621和仅用手部姿态推断的0.324;这些是分别录制的匹配配置,不是同步的手部姿态参考。

启示与展望

已展示的范围是五个环境、十个任务模板下的2,715段、100小时记录,以实验室、工厂等职业活动为重点;身体精度对照在专门构建的Evaluation Subset上完成,参考标签由同一套五追踪器细化流程生成。作者把多模态生成、条件生成和仿真中的人到机器人动作迁移列为初步研究,并指出这些研究尚未验证对真实世界人形机器人学习的收益。

重建无法保证精确恢复所有关节,触觉传感的可靠性存在波动;模型生成的步骤文字经专家审查仍有11.09%的片段含事实错误、2.46%含无依据陈述,因此发布前需人工核验与修正。仿真中的人到机器人迁移只回放了训练片段,未建立对未见任务的泛化,也不等同于硬件部署。