2B具身视觉语言模型学会出错后重规划:严格成功率比监督初始化高10.25个百分点
核心概要
具身视觉语言模型执行操作出错后,往往需要从被破坏的场景状态重新规划才能继续。ERR-Env在RoboTwin 2.0上提供可执行、可校验的交互环境,用任务专用检查器判定进度、完成、执行错误与可见性;在此之上构建的ERR-Bench用1,503个留出快照覆盖正常、中间与错误状态。以Qwen3-VL-2B-Thinking为初始化的ERR-VLM经AGT-GSPO在线强化学习训练后,相对其监督初始化把无错完成的严格成功率提高10.25个百分点,把恢复率提高22.95个百分点。
深度剖析
具身视觉语言模型的错误恢复现在可以直接用可校验的动作结果来训练,而不只依赖推理时的固定策略或参考纠正示例。 此前的推理时方法依靠提示、外部监视器或专门机制触发重规划,策略本身固定,恢复能力受限于模型已有本领;基于参考纠正的后训练则没有针对恢复动作的已验证结果优化策略。 在ERR-Bench的1,503个留出快照上,完整ERR-VLM相对其监督初始化把严格成功率从10.64%提高到20.89%,恢复率从42.52%提高到65.47%。
训练信号按每个交互轮次给出,并按动作类型分组比较,使纠错动作和致错动作获得不同的反馈。 轨迹级信号无法区分同一条轨迹里哪些动作致错、哪些动作在纠正,跨动作类型归一化又会把动作本身的奖励尺度差异混进优势估计。 消融中把轮次级优化换成轨迹级GSPO后,严格成功率降到8.05%、恢复严格成功率降到5.59%;去掉语义优势整形则恢复率从65.47%降到52.89%。
在训练环境之外,这套策略在仿真基准和真实机械臂上零样本执行长程操作与恢复任务。 监督初始化策略在真实场景中几乎不主动移开机械臂恢复视野,主动再观察率为0.0%。 真实机械臂上完整策略的主动再观察率升到78.7%;在RMBench的Observe and Pick Up任务上从50.0升到90.0,在RoboVoLo的Memory类别上从37.0升到72.8。
启示与展望
评测覆盖ERR-Bench的1,503个留出快照,以及RMBench、RoboVoLo和AIRBOT机械臂上的零样本试验,每个任务10次;训练与检查器都围绕抓放类高层动作空间和有限错误类型展开。
作者自述当前设置限于紧凑的高层动作空间和有限错误类型,训练在单一仿真环境中进行,检查器针对抓放任务定制,且受算力限制主要训练2B模型而未系统研究模型规模扩展。
