只戴眼镜录人类动作,Ego2Sim2Humanoid 把录像变成人形机器人训练轨迹
核心概要
人形机器人的全身视觉-语言-动作模型依赖遥操作采集的机器人轨迹,每一条都要训练有素的操作员实时操控实体机器人。Ego2Sim2Humanoid 把 Project Aria Gen 2 眼镜录下的人类日常动作,经智能体驱动的真实到仿真重建、抓取与站姿规划、物理仿真中的强化学习校正,转成带机器人视角图像和已验证动作标签的训练数据。仅用这批转换数据微调、不含目标任务的真实机器人演示,GR00T N1.7 在 Unitree G1 上自主完成搬瓶 9/20 次、戴帽 5/20 次。
深度剖析
人形机器人全身动作策略的训练数据可以不再来自实体机器人遥操作,而来自只戴一副眼镜的人类日常录像。 此前的采集流程在预训练和每次部署时都要用遥操作在实体机器人上重复录制,每条轨迹都需要机器人和受训操作员;现有第一视角视频方法只记录手和手腕,仍需遥操作轨迹把姿态落到全身关节控制上。 在 71 段戴帽录像上,EgoHumanoid 与 EgoHumanoid-V2 的中位路径完成比为 0.5 至 0.6、触达时刻手离接触区中位 70.8 至 112.9 厘米、可行抓取为 0,而 Ego2Sim2Humanoid 的路径比为 0.9、手距 0.8 厘米、71 段中 57 段得到可行抓取。
转换的关键是把人类动作放进重建场景的物理仿真里执行,再沿同一条被接受的轨迹用机器人机载相机渲染训练图像。 直接复制人类手掌姿态会因身高、臂展和手形差异让机器人手停在错误距离、产生不可行的指部接触;此前的运动学转换不检查机器人是否保持平衡或稳定接触。 在 71 段戴帽录像中,复制手掌的方案在 65 段里把拇指和食指压进帽壁更深,中位穿透从 0.8 厘米升到 1.8 厘米;两种条件都成功的 43 段里,复制方案有 36 段帽在手中位移更大,中位平移从 3.7 厘米升到 6.6 厘米。
仅用转换数据微调的 GR00T N1.7 在 Unitree G1 上自主执行了行走加操作任务。 训练集不含目标任务的任何真实机器人演示,机器人硬件、受训操作员和预先扫描在录制阶段都不需要。 20 次自主试验中搬起瓶子 9 次(45%),戴上帽子 5 次(25%);搬瓶有 17 次走到桌前,其中 8 次在抓取阶段失败,戴帽 20 次全部走到桌前、12 次在抓取阶段失败。
启示与展望
演示范围是 Project Aria Gen 2 眼镜录制的搬瓶与戴帽两类日常任务,219 段搬瓶和 154 段戴帽录像,硬件为 29 自由度 Unitree G1 配 Dex3 手和头部相机;重建物体的质量、惯性和表面摩擦由编码智能体依据视频先验估计。
重建物体的动力学参数来自先验估计,强化学习适应能容忍轻质家用物品的中等参数变化,但重物或质量分布不均的负载仍可能受仿真到现实的动力学差距影响;把物体表示为刚体、参数化形状或铰链连接,也限制了高度可变形或拓扑变化任务上的真实到仿真阶段。
