跳到主要内容
返回时间线
arXiv来源发表:

前沿模型直接开真机械臂:Reins 让 GPT-6.1 Sol 在五个长程任务上成功 88%

核心概要

前沿多模态模型能规划、能调用工具,却难以在真实机械臂上完成长程、接触密集的操作,因为机械臂运动时和模型思考时它都看不见。Reins 让现成模型通过 3D 感知工具和会报告接触与夹持状态的原子动作驱动双臂机器人,把动作串成带停止条件的链,并让第二个模型实例持续看摄像头、报告场景变化。在五个真实任务上,GPT-6.1 Sol 用自然语言提示、无任务专用代码,成功率为 88%;去掉这套装置后,它在贝壳游戏里一次也没抬起正确的杯子,耗时还是 8 倍。

Source-provided article image: Reins: Frontier Multimodal Models Driving Real Robot Arms on Long-Horizon Tasks, Zero-Shot
arXiv

深度剖析

现成的前沿多模态模型可以不经机器人训练,直接通过一套工具接口驱动真实双臂机械臂完成长程操作任务。 此前前沿模型作为机器人策略多在仿真中评估,真实硬件上的尝试以 2–4 厘米的小步移动和抓放为主;在 RoboDojo 真实 Sweep Blocks 上,十个各用 100 条演示训练的视觉-语言-动作模型从未成功。 在五个真实任务、每个条件五个回合的设定下,GPT-6.1 Sol 成功率为 88%;去掉这套装置后,它在贝壳游戏中从未抬起正确的杯子,四个回合里夹爪闭合 6–9 次、共 60 次调用,却一个杯子也没抬起,还有一次抬错了。

模型把动作写成带检查条件的链,一次调用里连续执行多步,任一步条件不成立就停下。 此前的同类装置以开环方式执行动作块,不逐步校验;这里的每个步骤都带一个必须在执行后成立的条件,并可选重复次数。 执行链最多容纳八次工具调用、共十六次运行,条件在每一步之后检查;三个前沿模型在开抽屉任务上每次都成功,差别出现在场景会在模型思考时变化的贝壳游戏上。

第二个模型实例作为叙述者持续观看摄像头,把每个时间窗内发生的变化以文字条目送回给执行模型。 此前的自监控智能体以 0.2 Hz 的频率检查自身执行,慢于这里按帧连续观看的叙述者。 叙述者以每秒一帧观看头部相机,每个窗口的长度等于上一次调用耗时,因此最新报告的画面滞后一到两个延迟;Sol 的叙述者用 1–6 秒回答、在 8–11 个窗口中看到洗牌,Astra 和 Opus 的叙述者用 3–40 秒、只看到 2–4 个窗口。

启示与展望

演示范围是一台由两条 6 自由度 AirBot Play 机械臂组成的桌面平台,配头部与双腕 RGB-D 相机,任务为贝壳游戏、开抽屉、折毛巾、折衬衫和扫拢,每个条件五个回合,成功由操作者判定。任务知识只通过自然语言提示进入,接触只由关节电流和夹爪宽度感知。

叙述者越慢,报告快速变化就越晚,最新画面滞后一到两个调用延迟;Opus 的叙述者在五个回合中一次也没跟踪住红色物体,它的两次胜利来自猜测。评测只覆盖一个平台、每个条件五个回合,接触感知仅限关节电流与夹爪宽度。