机器人长程操作不再每步都问大模型:RoC按需调用智能体,RMBench成功率99.6%、token省65.3%
核心概要
长程机器人操作若频繁调用多模态推理智能体,延迟和token开销会累积成瓶颈。RoC用一个在线任务状态监测器估计当前子任务进度、预测切换请求并给出下一目标,只在进度异常、切换请求或关键接触事件时触发智能体复核。在RMBench九个任务上,RoC平均成功率99.6%,比最强智能体基线高24.0个百分点、token消耗低65.3%,比最强策略基线高15.1个百分点;真实SO-ARM101平台上三个任务的成功率为70%、80%和70%。
深度剖析
长程操作中的智能体调用从每步复核改为按需触发,常规执行留给底层策略,推理只用于需要判断的时刻。 此前的智能体控制方法如GPT-as-Policy会反复调用智能体审查策略提议,即使常规执行也带来推理开销。 在RMBench九个任务上,RoC平均成功率99.6%,比GPT-as-Policy高24.0个百分点、比直接控制高27.7个百分点,token消耗分别低65.3%和84.4%;智能体调用次数为46次,而GPT-as-Policy和直接控制分别为84次和209次。
系统由底层策略、在线任务状态监测器和推理智能体三层组成,监测器决定何时打断执行。 监测器以通用机器人奖励模型Robometer为初始化,联合估计子任务内进度、切换请求概率和候选后继目标。 监测器结合分阶段采样的视觉历史与有序交互记忆,在RMBench全部九个任务上训练一个epoch;推理时监测器在不生成子任务时运行于7.10 Hz,生成子任务时0.53 Hz,整体吞吐2.77 Hz。
智能体复核同时覆盖执行修复与计划修订,而不是只判断任务是否切换。 执行修复包括缩短执行前缀、局部调整末端位姿或夹爪指令、以及智能体接管子任务;计划修订包括拒绝切换和替换无效的后继目标。 消融中,仅用策略平均成功率5.9%,加入视觉历史升至14.7%,再加入监测器升至63.7%,完整RoC为98.1%;在依赖记忆的任务上,带监测器的策略平均为51.0%,加入事件触发智能体干预后升至97.3%。
启示与展望
演示范围是RMBench全部九个仿真任务与SO-ARM101平台上的Drawer Sorting、Cover and Reveal、Tabletop Cleanup三个桌面任务,真实任务每项10次试验;适合关注长程操作与智能体调度的机器人研究者阅读。
真实机器人上的失败主要来自智能体干预后仍未成功的困难抓取,当前推理智能体未能把视觉证据转化为有效的抓取修正,智能体能力仍是瓶颈;作者提出可换用更强的智能体而无需改动控制框架,但未给出该替换的实验结果。
