跳到主要内容
返回时间线
arXiv来源发表:

长程操作不再让VLA硬扛:RePlan-VLA外挂进度监控与重规划,RoboCasa365平均成功率62.5%

核心概要

长程机器人操作常因小错误累积而失败,RePlan-VLA把长程推理、进度跟踪与错误恢复从视觉-语言-动作(VLA)策略中拆出来,交给一个与具体VLA无关的外层框架,底层策略保持冻结、无需再微调。框架用规划视觉语言模型把长指令拆成短子任务,用微调过的进度估计模型按操作原语判断完成与失败并触发重规划。在RoboCasa365复合任务上平均成功率62.5%,高于最强基线Awomo-0.5I的40.6%;CALVIN ABCDharD平均连续完成4.10个任务,最强基线XR-0为3.58。

Source-provided article image: RePlan-VLA: Progress-Aware Replanning for Long-Horizon Vision-Language-Action Models
arXiv

深度剖析

长程操作被改造成“短程策略加外层执行监控”的组合,底层VLA只负责执行单个短子任务,不再同时承担长程推理、记忆、进度跟踪和错误恢复。 此前的通用VLA和长程方法把长程任务当作整体执行问题,缺少对已完成与失败子任务的显式记录,前置条件遗漏和误判完成会沿后续操作传播。 在RoboCasa365的Composite-Seen与Composite-Unseen各16个任务、每任务5个回合上,RePlan-VLA平均成功率62.5%,Awomo-0.5I为40.6%;未见组合上RePlan-VLA为56.3%,比最强未见基线高21.3个百分点。

执行过程中,系统按操作原语粒度判断进度,一旦停滞或偏离预期就生成自然语言诊断并改写剩余计划,同时保留已完成子任务的历史。 进度信号来自夹爪、目标物体与目的地之间空间关系导出的连续标签,而不是演示的时间推进或单调递增的任务级奖励。 进度估计模型以Qwen3-VL-8B为基座、用LoRA微调并接一个回归头,在RoboCasa365、CALVIN和真实演示的短程轨迹上训练;消融中微调后的原语级估计平均成功率62.5%,零样本VLM监控为37.6%,全局进度估计为18.8%。

规划器生成的子任务指令要先通过一个基于大语言模型的指令校验器,确认符合底层VLA训练时见过的语言形式后才下发。 语义上合理但措辞陌生的指令会让冻结的VLA执行不可靠,校验器把高层规划与策略实际能执行的语言接口对齐。 去掉校验器后,RoboCasa365平均成功率从62.5%降到34.5%。

启示与展望

演示范围是RoboCasa365的Composite-Seen与Composite-Unseen各16个任务、每任务5个回合,CALVIN ABCDharD中按低基线表现挑出的五任务序列子集,以及Franka Research 3机械臂上按CALVIN风格协议执行的多任务序列;读者对象是关注长程机器人操作与VLA部署的研究者和工程师。

作者指出效果依赖可靠的视觉定位和底层策略的短程操作能力,不可逆的执行失败可能限制恢复;未来工作才涉及考虑策略能力的技能感知重规划、从成功恢复中学习以及引入触觉等模态。CALVIN上XR-0在完整五任务序列上略高于RePlan-VLA(60.0%对58.0%)。CALVIN子集规模在原文两处不一致:评测设置写100条序列,4.2.2节写50条CALVIN ABCDD序列,本报告不采用其中任一数字。