跳到主要内容
返回时间线
arXiv来源发表:

给机器人装上编码智能体的外壳:Thea 用场景图和退出码补上物理世界缺的两环

核心概要

编码智能体的能力不只来自模型,也来自围绕它的外壳:工具、上下文与失败后的重试。Thea 把这套外壳搬到真实机器人上,让每个机器人能力成为可调用工具,并用持续更新的场景图提供世界状态、用评估器给出动作成败与失败原因。在 Astribot S1 等三台机器人上,任务从 L1 到 L3 变长时 Thea 的成功率保持最高,评估器在 90 个轨迹检查点上的平均判对率为 93.3%。

Source-provided article image: Towards the Harness of Embodied Agents
arXiv

深度剖析

机器人不再只靠一个端到端策略一次性完成任务,而是由一个语言模型在每一轮选一个工具、看结果、再决定下一步,把导航、抓取、评估和与用户对话都当作同一张工具表里的条目。 端到端策略在任务中途失败时不会被察觉,整段执行也不会恢复;SayCan 只选下一个技能,不对上一个动作给出判定。 在真实机器人上按 L1 到 L3 三个难度等级比较,Thea 在三个等级上都取得最高成功率,且差距随任务变长而扩大;L1 时各方法差距很小。

物理世界不像软件那样自带可读的状态和可判定的结果,Thea 用两个模块补上:场景图把零散的视觉与深度观测整理成带编号、位置、置信度和新鲜度的持久对象记录,评估器则在每次操作后判断动作是否结束、是否成功、失败原因是什么。 编码智能体可以直接读源码、靠退出码和报错栈判断成败,机器人只有连续的视频流和没有“完成”信号的动作输出。 评估器只读取当前观测和每个工具自带的后置条件,在来自 Astribot S1、AgileX Cobot Magic 和 Unitree G1 的 90 个轨迹检查点上平均判对率为 93.3%。

评估器的判定会反过来约束世界模型:只有被确认成功的动作才允许改写场景图,抓取成功才把物体标为被持有,开柜成功才把容器标为打开。 若让模型自行汇报成败,判定会偏向自己;因此评估由执行后的钩子触发,模型无法跳过,也读不到评估器的推理。 评估器把 6.7% 的失败检查点和 13.3% 的进行中检查点误判为成功,而没有把成功检查点误判为其他状态。

启示与展望

演示与定量实验都在真实机器人上完成,主要定量对比运行在 Astribot S1 上,另在 AgileX Cobot Magic 和 Unitree G1 上做了部署探索;任务限于桌面抓放、多物体归置和跨桌取送三个等级。

评估器的错误全部偏向把失败或进行中的状态判为成功,这会放弃一次必要的重试或提前结束动作;安全性只做到基础运动前的间隙检查,力限制、与人共处的安全以及实验室之外的部署仍未解决。