跳到主要内容
返回时间线
arXiv来源发表:

机器人智能体与策略不再各练各的:RoboCoEvo 让失败程序反过来训练 VLA,三轮基准成功率持续上升

核心概要

RoboCoEvo 把机器人智能体与视觉-语言-动作(VLA)策略的改进接成闭环:智能体把反复出现的失败归成失败模式,为每种模式写一个可复用的检测器和恢复程序,用这些程序在失败状态及其扰动副本上生成纠正数据,再以 DAgger 式后训练写回策略参数。策略更新后失败分布改变,又反过来指导下一轮程序修订。在 BEHAVIOR-1K、RoboTwin 和 RoboCasa 上,两轮共进化后成功率分别从 0.23 升到 0.34、从 0.79 升到 0.93、从 0.79 升到 0.91。

Source-provided article image: RoboCoEvo: Expanding Robot Capabilities through Agent-Policy Co-Evolution
arXiv

深度剖析

机器人系统里,负责诊断和恢复的智能体与负责底层动作的 VLA 策略现在可以互相推动:智能体写出的恢复程序变成策略的训练数据,策略改进后剩下的失败再决定智能体下一轮该修什么。 此前的组合系统里,智能体的改进和策略的改进基本是分开的,一边变强不一定让另一边受益;策略不吸收纠正经验就会继续依赖智能体,智能体不随策略更新就会继续针对已经不再卡住性能的弱点。 在 BEHAVIOR-1K、RoboTwin 和 RoboCasa 三个仿真基准上,两轮共进化后平均成功率分别由 0.23 升至 0.34、由 0.79 升至 0.93、由 0.79 升至 0.91,BEHAVIOR-1K 的平均 Q-score 由 0.40 升至 0.56,且每一轮都有提升。

做法是把失败按“卡在同一个子任务、失败前后场景状态序列呈现同一模式”归并成失败模式,每种模式只配一个检测器和一个恢复程序,程序用代码写成状态机,组合导航与操作技能。 如果对每条失败轨迹单独诊断和恢复,成本随失败数增长,相似失败的恢复策略还可能不一致,产生高熵的示范数据。 在 BEHAVIOR-1K 的 picking up trash 任务上,逐失败恢复把 Q-score 从基线的 0.633 压到 0.267,改为每种失败模式共享程序后升到 0.758,智能体 token 用量降到约十六分之一。

检测到的失败状态会在仿真器里被扰动,生成同一失败模式下的更多失败场景,恢复程序在这些状态上执行,只保留成功的恢复,作为纠正经验加入训练。 每条 rollout 只能提供少量同类失败实例,靠增加 rollout 收集失败状态会推高仿真开销。 在 picking up trash 上,完整 RoboCoEvo 用 50 条 rollout 加扰动得到失败状态,仿真耗时 36 GPU 小时,而不做扰动的失败模式版本需要 147 GPU 小时;Q-score 也从 0.758 升到 0.84。

启示与展望

演示范围限于 BEHAVIOR-1K 前六个任务、RoboTwin 2.0 与 RoboCasa 十个任务的仿真评测,起点分别是 RLC、一个在干净与随机化示范上训练的 VLA 以及 XR-1,智能体使用 GPT-6 Astra;更新后的策略在部署时不带智能体。

目前只从成功的恢复示范中学习,VLA 自身的成功与失败 rollout 没有进入训练;作者把结合强化学习以利用这些 rollout 列为后续方向。个别任务上收益有限,picking up trash 的 Q-score 在第一轮后由 0.63 升到 0.84,第二轮略降到 0.82,作者认为可能接近饱和。