跳到主要内容
返回时间线
arXiv来源发表:

人形机器人不必先攒机器人演示:500小时第一人称人体数据让G1真机任务成功率到62.5%

核心概要

人形机器人全身移动操作长期依赖遥操作采集机器人演示,成本高、覆盖窄。λ₀ 把500小时第一人称视频与同步的全身和手部运动配成 HumanVerse 数据集,再经人—人形对齐管线转成 G1 可用的状态—动作监督,用于三阶段训练中的中期训练。在 Unitree G1 上,完整方案于 SIMPLE 仿真取得90.0%成功率,在四个真机移动操作任务上平均成功率62.5%、加权进度80.4%。

Source-provided article image: λ_0: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation
arXiv

深度剖析

人形机器人的全身移动操作现在可以直接从人采集的第一人称经验中学习,而不必为每个任务先由操作员遥操作机器人录制演示。 此前的机器人演示采集依赖机器人可用性和反复复位,任务与场景覆盖的扩大代价很高;仅用手腕和手部轨迹的第一人称监督又缺少支撑全身交互的行走与姿态变化。 在 Unitree G1 上,仅用任务对应的人体演示、不含目标任务机器人演示,四类全身操作任务平均进度51.7%,三类长程移动操作任务平均进度76.2%,七项任务等权平均62.2%。

这套监督被组织成一条三阶段训练流程,先学手部交互,再学全身协同,最后落到目标机器人上。 第一阶段在七个公开第一人称手—物数据集上预训练,只让视觉—语言主干预测未来的双手状态词元;第二阶段才引入动作专家,用 HumanVerse 转换后的全身人体数据训练。 第三阶段用机器人演示做后训练;在固定机器人监督下,去掉第二阶段使真机成功率从62.5%降到22.5%,去掉第一阶段则降到50.0%。

人体数据规模本身带来可测量的下游收益,而不只是离线损失下降。 在固定第一阶段初始化、模型容量、机器人演示和第三阶段更新预算的条件下,只改变第二阶段人体数据的比例。 第二阶段数据从0%增至5%、10%、25%、50%、100%时,真机任务进度依次为59.9%、64.2%、67.3%、72.1%、76.4%、80.4%,单调上升,全程提高20.5%。

启示与展望

已展示的范围是 Unitree G1 上的七项代表性任务:四类全身操作与三类长程移动操作,以及 SIMPLE 仿真的六个任务在 Level 0–2 各十次 rollout;真机评估使用每个任务十个固定初始配置,标准试验使用机器人见过的物体。

500小时指转换与有效性过滤之前记录的人体语料;数据规模拟合来自每个比例一次运行,作者说明其只描述观测范围,未确立跨随机种子的可复现性或外推准确性。仿真汇总按任务选择最佳记录配置,并非固定配置比较;真机结果按任务等权平均,未合并训练种子或给出基于种子的置信区间。