智能体替VLA补失败课:仿真三套基准成功率升至87.8%、90.6%与30.0%
核心概要
预训练的视觉-语言-动作模型(VLA)在部署中会因环境噪声或控制误差进入训练分布之外的状态而失败,而DAgger一类方法需要人反复监控并示范纠正。Agentic-Teacher让编码智能体分析失败轨迹、定位因果帧、按失败模式聚类,并写出闭环代码策略在失败起点上完成剩余任务,再把成功执行加工成可学习的示范。仿真中,LIBERO-10平均成功率从79.4%升到87.8%,MetaWorld-10从80.4%升到90.6%,三个RoboCasa任务从0%升到30.0%。
深度剖析
纠正数据不再依赖人逐次接管,而是由编码智能体从目标VLA自己的失败轨迹里生成。 DAgger及其HG-DAgger、ThriftyDAgger等变体在策略访问到的状态上取专家动作,仍需人类专家反复监控和干预,跨任务、跨环境扩展成本高。 在LIBERO-10、MetaWorld-10和三个RoboCasa任务上,每个任务先采集50条基础策略轨迹并挑出失败轨迹用于修复,修复数据与初始成功轨迹合并后做后训练;更新后的VLA在每任务50次评估中独立运行,不使用智能体或代码策略。
智能体先定位导致失败的因果帧,把相似失败聚成失败模式,再为每一类写一段可执行、可迭代修改的代码策略。 代码策略从选定的失败起点接管,执行诊断失败之后的剩余任务阶段,而不只是复现整条任务。 程序在少量代表性失败上试跑,执行框架返回任务结果、视频和动作轨迹;失败则修改程序,成功则扩展到该失败模式下的更多起点,成功程序与可复用技能存入经验库供后续修复检索。
成功的代码执行还要经过噪声注入、空闲帧去除和流匹配损失筛选,才成为VLA的监督数据。 程序生成的轨迹可能行为覆盖窄、时间上冗余,或与基础策略不兼容,任务成功本身不足以说明它是好的训练数据。 在LIBERO-10的轨迹处理消融中,直接用原始轨迹训练的成功率为0.0%,加入噪声后为81.0%,再去空闲帧为89.0%,加上流匹配损失筛选达到95.0%;最后一步把轨迹数从120减到110,成功率仍上升。
启示与展望
结果全部来自仿真:LIBERO-10、MetaWorld-10和三个RoboCasa任务,每任务50次评估,种子与修复数据采集分开。读者对象是从事机器人策略学习与数据引擎的研究者和工程师;真实机器人上的修复需要重置场景并重放失败轨迹到因果帧,这一成本尚未解决。
修复能力受编码智能体可用技能库覆盖的限制,复杂末端控制或精细操作任务可能需要更长的探索;即使代码策略执行成功,轨迹中也可能含有被VLA学去后降低性能的行为模式。多任务联合训练共享一套超参数,未必对每个任务最优;LIBERO-10上book-caddy与mug-microwave、MetaWorld-10上drawer-open-v3在个别任务上出现下降。
