跳到主要内容
返回时间线
arXiv来源发表:

Astra 不再每个动作块都调用:三层系统在 RoboMME 上以每回合 3.63 次调用取得 79.13% 成功率

核心概要

机器人操作常要记住已被遮挡或不再可见的信息,而每执行一个动作块就调用一次大型视觉语言规划器既慢又贵。三层系统把 GPT-6 Astra 规划器、视觉语言动作策略和微调后的 Qwen3-VL-4B 监视器分开:Astra 只在回合开始以及监视器报告子任务完成或任务特定事件时被调用。在 RoboMME 官方测试集上,该系统整体成功率为 79.13%,平均每回合调用 Astra 3.63 次、耗时 80.84 秒,比最佳已发表非 oracle 基线高 34.62 个百分点,比提供真实子目标的 GroundSG+Oracle 低 4.95 个百分点。

Source-provided article image: Can Astra Solve RoboMME without Breaking the Bank?
arXiv

深度剖析

系统把高层规划从每个动作块都调用改为事件触发调用,在 RoboMME 上整体成功率达到 79.13%。 此前每执行一个动作块就调用一次大型视觉语言规划器,既慢又冗余;已发表的最佳非 oracle 基线 FrameSamp+Modul 整体成功率为 44.51%。 在 RoboMME 官方测试集上每任务 50 个回合、每回合 1,300 步预算,该系统整体成功率 79.13%,比 FrameSamp+Modul 高 34.62 个百分点,比 GroundSG+Oracle 低 4.95 个百分点。

Astra 在回合开始时选出一个带像素坐标的可执行子任务,视觉语言动作策略按新观测持续执行同一指令,微调后的 Qwen3-VL-4B 监视器在每个动作块后判断子任务是否完成。 监视器用八张最近前视相机帧、当前指令发出时的前视参考图和当前腕部图像做二分类判断,负判定让当前指令再执行一个动作块。 监视器在 71,835 个由 RoboMME 演示构建的样本上以 LoRA 微调,视觉编码器冻结;每个动作块运行 16 个环境步,记录轨迹平均包含 24.62 个动作块。

启示与展望

评估只在 RoboMME 官方测试集上进行,每任务 50 个回合、每回合 1,300 步预算,且只评估完整三层系统;作者指出需要消融来分离记忆、规划器能力和监视各自的贡献。

作者尚未把失败归因于规划、监视或执行错误,也未测量监视器的闭环错误率;仿真器在 Astra 推理时暂停,因此尚未测试推理期间场景发生变化的情形。