跳到主要内容
返回时间线
arXiv来源发表:

机器人不必再模仿自己的旧动作:SeRA用后续策略重标注自主经验,真机番茄采摘成功率从40%升到80%

核心概要

交互式模仿学习里,人类纠错稀疏,而机器人自主执行留下大量没有动作标签的经验。SeRA把这些经验交给后续策略检查点重新标注,用检查点之间的一致性筛掉不可靠标注,再围绕被接受的标注构造动作集合而非精确模仿;在五个仿真操作任务的在线与离线设置中成功率均高于SDP及模仿历史动作或精确标注的基线,真机番茄采摘任务上以相同人类反馈和训练预算达到80%成功率,SDP为40%。

Source-provided article image: Old Experience, New Lessons: Relabeling Autonomous Robot Rollouts in Interactive Imitation Learning
arXiv

深度剖析

机器人自主执行产生的经验现在可以当作无标签数据参与动作监督,而不必被直接当作模仿目标。 此前的做法保留历史机器人动作作为模仿目标,例如IWR模仿这些动作、CEILing借助评估反馈挑选行为、Sirius按干预情境降低干预前动作的权重;但自主动作即使没有触发干预、或出现在成功轨迹里,也未必最优。 在五个仿真操作任务的在线与离线两种设置中,SeRA在每一项任务上都取得最高成功率;而使用自主经验的基线在每种设置下至少四项任务低于不使用该经验的SDP,真机上SeRA为80%、SDP为40%。

做法是用训练得更晚的策略给早期观测补上动作标签,再把这些标签当作一片可接受的动作区域而不是唯一答案。 后续检查点纳入了更多人类纠错,可能把纠错推广到更早采集的观测上;但多个检查点可能共享同一个错误,因此一致性本身不等于正确。 每个被接受的标注配一个以它为中心、半径等于它到历史机器人动作距离的动作集合,策略只需提高落在集合内的动作概率;在部分有监督的动作块上,带步掩码的去噪损失把保留的人类纠错与被接受的标注合在一起训练。

一致性过滤和集合式目标各自都承担作用,去掉任一项都会明显削弱离线任务上的表现。 去掉一致性过滤后,Square上的成功率从96.3%降到31.4%,ThreePiece从98.9%降到9.5%;把标注半径比例调小到接近点值目标后,四项离线任务的成功率全部下降。 这些对照来自离线仿真任务的消融,与直接模仿被接受标注的SDP+Pseudo-labeling在两种设置下均低于SeRA的结果方向一致。

启示与展望

演示范围是五个仿真操作任务(PushT、PickCan、Square、TwoArmLift、ThreePiece)的在线与离线学习,以及一项真机番茄采摘任务;真机对照使用相同的人类反馈与14小时A40训练预算,仿真教师为动作最优的模拟教师。

方法假设被接受标注周围的期望动作集合包含最优动作,而检查点一致性无法保证这一点,因为后续策略可能共享错误;当前对重标注目标使用固定半径比例,并直接丢弃未通过一致性检验的标注。