跳到主要内容
返回时间线
arXiv来源发表:

机器人不改权重也能长本事:RPG在22个操作任务上把成功率从28.6%练到95.0%

核心概要

RPG把机器人执行系统当作可反复修改的共享技能库与系统提示,在仿真里自主练习而不更新模型权重。它先从离线数据集中识别可练习的操作能力并搭建仿真任务,再借特权执行与视频诊断失败、改写技能,并在全部任务上验证后才保留改动。22个操作任务的留出初始化上,成功率从首轮练习后的28.6%升到15轮后的95.0%,高于ASPIRE的75.5%与CaP-Agent0配GPT-6 Astra Pro的60.0%。

深度剖析

机器人执行系统可以在不更新模型权重的前提下,通过仿真练习持续改写自己的共享技能库和系统提示,从而在留出初始化上大幅提高任务成功率。 此前的语言模型机器人智能体要么把感知与控制写进固定程序,要么让多模态模型留在控制回路里逐次推理,技能与提示通常由人工开发维护。 在22个操作任务各10个留出种子的220次评估中,RPG从第1轮练习后的63/220(28.6%)升到第15轮的209/220(95.0%),高于ASPIRE的166/220(75.5%)和CaP-Agent0配GPT-6 Astra Pro的132/220(60.0%)。

练习过程由两个执行智能体的对照驱动:一个只用部署时可得的观测,另一个额外看到仿真器状态,二者执行记录的差异被用来定位失败。 失败诊断不只看单条轨迹,而是把运行时智能体的失败片段与特权智能体的执行、以及离线数据集中的相关视频放在一起比较。 视频分析器与特权智能体同时启用时,五轮练习后220个留出回合中成功172次(78.2%);去掉视频分析器降到114/220(51.8%),去掉特权智能体降到112/220(50.9%)。

候选修改要经过跨任务回归检验才能并入共享系统,合并后的系统还要再测一次,未通过就回退到上一轮系统。 共享技能的一处改动可能帮一个任务、伤另一个任务,因此单个任务上的成功不足以作为保留依据。 候选须让平均成功率上升且任一任务的成功数下降不超过五次中的一次;在固定运行时、只换技能库的对照中,四个任务的成功数从26/40升到37/40。

启示与展望

已展示的范围是YAM双臂机器人在MuJoCo仿真中的22个操作任务,以及经统一标定与硬件适配后冻结系统在三个物理任务上各10次试验;物理部署不使用特权智能体与视频分析器。

评估曲线并非严格单调,第6轮和第14轮的成功数各减少一次,这些修改通过了五次开发种子检查但未在十个留出种子上全面提升;毛巾折叠在22个任务中占11次失败里的7次,更严格的折叠变体在15轮中始终为0/10。