LEAP 手在任意腕向下连续够取物体位姿:加一层残差安全过滤器,掉落从 16 次降到 4 次
核心概要
多指手在手中把物体搬到任意位置和朝向,此前多限于单一腕向、简单重复动作,且很少测量掉落。这套方案在仿真中不用人类数据训练 LEAP 手,经系统辨识后零样本迁移到真机,可用动作捕捉或单个腕部深度相机感知物体。真机 13.3 小时、4,800 个未见目标的评测中,状态策略在 2 cm 与 0.4 rad 容差内够到 95.2% 的目标;叠加可调保守度的学习残差安全过滤器后,掉落从 16 次降到 4 次,仍够到 91.5% 的目标。
深度剖析
多指手现在能在任意腕向下把物体连续搬到手中几乎任意位置和朝向,并把“不掉落”作为可测量的指标单独报告。 此前的在手指令技能多固定在单一腕向(常为掌心朝上),只做旋转等简单重复动作,可靠性、安全性和鲁棒性往往被当作附带问题处理。 真机评测累计 13.3 小时、4,800 个未见目标,覆盖 4 个物体和 6 个腕向;状态策略在 2 cm 与 0.4 rad 容差内够到 95.2% 的目标。
在冻结的任务策略之上再训练一层残差安全过滤器,只小幅修正每个动作,就能显著减少掉落。 把安全直接写进任务奖励会变成难以调参的多目标问题,而且需要重训任务策略;过滤器则是约 4 小时训练即可加上的独立一层。 状态策略的掉落从 16 次降到 4 次(降 75%),首次掉落前的平均时间从 334 s 升到 465 s,同时粗容差成功率从 95.2% 降到 91.5%。
同一套策略可以只靠腕部深度相机运行,不需要动作捕捉或外部相机。 状态策略依赖动作捕捉提供物体位姿,深度策略则把这一输入换成 160×120 的腕部深度图。 深度策略在真机粗容差下够到 71.8% 的目标,加过滤器后为 66.7%,掉落从 88 次降到 46 次;灯泡和橡皮鸭上分别为 95% 和 88%,刀具和酒杯上则明显低于仿真。
启示与展望
评测在真机上进行,覆盖 4 个物体、6 个腕向和 4,800 个未见目标,每个目标给 10 s 窗口,掉落判定为物体连续三个跟踪控制步离手超过 25 cm;策略与过滤器都按物体单独训练,深度策略的腕部相机版本在刀具和酒杯上成功率明显低于仿真。
深度策略在刀具和酒杯上的真机表现低于仿真,辅助位姿估计的真实误差出现仿真中没有的长尾,这被列为可能的感知原因;深度酒杯是掉落减少的例外,仅从 51 次降到 40 次。下游任务中过滤器在保守度设定下反而更差,原因尚不清楚。
