跳到主要内容
返回时间线
arXiv来源发表:

人形机器人搬物体不再依赖动捕:MOVER只用机载相机,仿真搬运成功率达93%

核心概要

人形机器人搬运物体此前依赖实时生成参考轨迹,且只能在动捕棚里评估,物体位置一变就容易失稳。MOVER把人搬物体的视频经GENMO与GMR重定向到29自由度天工3.0,再用教师—助手—学生三阶段强化学习逐步放松轨迹跟踪,并以DAgger-PPO蒸馏掉本体位置观测。仿真中搬运成功率为93%,蒸馏后的策略仅凭机载RGB-D相机在无动捕环境中完成了不同位置物体的搬运。

Source-provided article image: From Video to Vision: Learning Generalizable Humanoid Carrying from Human Motion
arXiv

深度剖析

人形机器人搬运物体可以不再依赖实时参考轨迹和动捕系统,部署时只靠本体感知与机载相机看到的物体相对位姿。 此前的视频或动捕强化学习方案需要上层模块实时生成参考轨迹,机器人只能沿轨迹从指定位置取物,且策略只能在动捕棚内评估。 在仿真中,助手策略在无位置偏移时与教师策略搬运成功率相近,偏移增大后明显超过教师策略;蒸馏后的学生策略抓取成功率始终高于教师与助手策略。

训练从少量人搬物体的视频出发,先学会严格跟随轨迹,再学会自己找物体,最后丢掉对全局位置的依赖。 直接重定向视频只能得到一条人形—物体轨迹,物体几何与摆放的变化有限。 100段视频经数据增强生成4000条初始物体位置与形状尺寸各异的轨迹,重定向到29自由度天工3.0,在Isaac Lab中训练、在MuJoCo中评估。

部署时用一个在参考运动数据上监督训练的LSTM网络QuatNet,由物体相对位姿和目标位置回归出机器人锚点的参考朝向,替代观测中的参考运动项。 若把参考信息全部蒸馏掉,机器人抬起物体后无法判断目标方向,因为物体相对位姿不再提供指引。 QuatNet用500条运动序列、约100万帧训练,其中20%作验证;使用QuatNet的策略抓取成功率与蒸馏学生策略同样高,但搬运成功率更低。

启示与展望

演示范围是29自由度天工3.0人形机器人在仿真与真机上的物体搬运:仿真在四个物体位置和两种形状尺寸配置下评估,真机在动捕棚与普通室内各三个位置、每处10次试验。读者对象是关注人形机器人全身操作与仿真到现实迁移的研究者和工程师。

蒸馏掉本体位置观测后,机器人无法把物体准确送到指定位置,目标位置存在不可忽略的误差;训练数据量不足,难以泛化到形状与运动模式更多样的搬运行为。使用QuatNet替代参考运动观测的策略搬运成功率低于蒸馏学生策略,说明目标点经QuatNet给出时对搬运方向的指引不如参考运动直接。