机器人强化学习不再每回合重置场景:CRONOS基准显示,非回合训练在重叠与杂乱布局上成功率反超
核心概要
CRONOS把视觉-语言-动作模型的强化学习微调放进不频繁重置场景的仿真基准,16个抓放任务共享4个场景。直接非回合微调会因物体布局与末端执行器位姿漂移而失效,但每次任务切换把机械臂末端复位到标准位姿、早期密集重置场景、只重置不可恢复场景,能挽回大部分损失。在重叠与杂乱两种域外布局上,非回合微调后的SpatialVLA成功率分别为64.3%和55.0%,高于回合微调的55.2%和51.2%。
深度剖析
机器人策略的强化学习微调可以不再依赖每回合重置场景,但把预训练视觉-语言-动作模型直接放进这种非回合设置会明显掉点。 此前的强化学习微调研究默认每回合重置场景,而真实部署中重置需要人工介入;已有的非回合方法又只针对从零训练的小策略。 在CRONOS的训练场景内,场景重置间隔从80步放宽到320步和640步时,OpenVLA成功率从80降到320、640对应的水平,SpatialVLA呈同样趋势,域外配置上趋势一致。
把机械臂末端在每次任务切换时自动送回预训练时的标准位姿,能显著恢复非回合微调的学习效率。 预训练演示多从固定末端位姿开始,模型因此带有初始位姿偏置;非回合训练中机器人姿态随任务连续漂移,与这一偏置错位。 在场景重置间隔为320步和640步时,末端执行器复位使SpatialVLA成功率分别提高25和10个百分点。
非回合微调除了省去人工重置,还让策略对分散场景和连续任务序列更稳健。 回合微调虽然用了四倍于非回合设置的重置次数,但在域外初始布局上表现更差。 在重叠布局下SpatialVLA成功率从55.2%升到64.3%、OpenVLA从55.4%升到59.3%;在杂乱布局下分别从51.2%升到55.0%、从49.4%升到53.6%。
启示与展望
结论建立在CRONOS这一仿真基准上,包含4个场景、16个语言条件抓放任务,每个任务80个交互步,评估对象是OpenVLA与SpatialVLA两个现成模型,训练用PPO。作者选择仿真是因为它比真机实验更省时、可复现性更好。
启发式场景重置依赖仿真器的特权状态来判断场景是否不可恢复,改用基于感知的检测器仍是未来工作。在长重置间隔下,场景漂移仍限制学习。作者把课程重置只做成简单的两阶段安排,更复杂的设计留待后续。
