跳到主要内容
返回时间线
arXiv来源发表:

长程操作不再只靠一句总指令:GTI按子任务与阶段生成视觉目标,真机整任务成功率从21.7%升到59.2%

核心概要

视觉—语言—动作模型能从画面、语言和机器人状态生成动作,但一条全局指令在长程任务中始终不变,机器人容易跳过或重复子任务、过早切换阶段。GTI用当前观测和执行历史定位正在执行的子任务及其阶段,再按阶段生成“接触”或“局部完成”两种视觉目标,与局部语言指令一起条件化VLA。在RoboCasa365上,GR00T在已见复合任务的ID/OOD成功率由14.6%/12.1%升至31.8%/20.4%;三个真实PiPER任务的整任务平均成功率由21.7%升至59.2%。

Source-provided article image: GTI: Grounding Task Intent Throughout Long-Horizon VLA Manipulation
arXiv

深度剖析

长程操作中的全局指令被拆成随执行推进而更新的局部意图:系统持续判断当前该做哪个子任务、处在哪个交互阶段,并据此给出局部语言指令和一张阶段对应的视觉目标图。 此前的分层做法要么把高层推理转成局部语言指令,要么用预测的未来状态作执行参考;语言说明了做什么,却把接触几何留给执行器,而单一完成状态无法同时表达同一子任务内的接触关系与完成关系。 在RoboCasa365上,与使用相同检查点、相同已见轨迹和相同微调预算的Global-FT基线相比,GR00T执行器的已见复合任务成功率在ID/OOD评估下由14.6%/12.1%升至31.8%/20.4%。

系统由三部分组成:一个规划器从当前观测和历史中定位子任务与阶段,一个以预训练视频生成模型改造的视觉预测器按阶段生成目标图,一个异常监视器在持续偏差时触发回滚、重新观测和阶段重估。 阶段作为显式条件变量参与训练和推理,K1指当前原子操作首次建立任务相关的机器人与物体或物体与环境交互关系的状态,K2指局部子任务完成条件首次成立的状态;确认的阶段直接拼进局部指令作为视频生成模型的文本条件。 在VLA-Arena Horizon-Long上,规划器与视觉模型只用L0+L1训练、L2留出;在匹配适配条件下,带K1/K2阶段目标但不含恢复的配置总体成功率为47.0%,高于仅给阶段文本的44.8%和单一K2目标的44.9%,启用局部重定位后达到47.6%。

执行阶段的异常监视读取VLA动作生成过程的内部特征,而不是视觉预测误差;检测到持续异常后保留当前子任务和已缓存的目标图,回滚稳定机器人,再从新观测重估阶段。 恢复只在异常分数连续两个策略块超过标定动态阈值时触发,且每个子任务最多恢复一次,仿真器状态从不重置;这使恢复成为部署期的局部修补,而不是全局重新规划。 在三个真实AgileX PiPER 6R任务上,每个条件从同一初始位姿独立测试30次,整任务平均成功率由Global-FT的21.7%升至59.2%,提升集中在多步条件,例如四阶段的柜内搜索放置由0/30升至12/30。

启示与展望

演示范围是RoboCasa365仿真、VLA-Arena Horizon-Long仿真和AgileX PiPER 6R上的三个真实任务,真机每个条件从同一初始位姿独立测试30次;作者指出GTI补充而非替代底层VLA,成功仍取决于规划、目标可行性、底层交互和纠错。

作者报告复杂留出任务和跨场景泛化仍然困难,OOD增益小于ID增益;K1/K2两阶段对重复接触、重新抓取或中途策略切换可能过粗;局部恢复保留当前子任务,不做全局重新规划或选择替代策略。