跳到主要内容
返回时间线
arXiv来源发表:

通用大模型直接开机器人:LIBERO-10上最高44%,但推理加码只对部分模型有效

核心概要

得克萨斯大学达拉斯分校团队让六个前沿AI模型不经任何机器人专项训练,仅凭相机图像、机器人状态和三个工具调用,在LIBERO-10的十个长程操作任务上闭环控制Franka Panda机械臂。18种配置、1800个回合中,GPT-6 Astra在高推理档取得最高44%成功率,Gemini-4 Argon以43%紧随;提高推理强度通常提升成功率,但幅度因模型而异,且API成本随之上升。

深度剖析

前沿通用AI模型可以不做任何机器人专项训练,直接充当闭环操作策略:模型只看两台相机的图像和12维机器人状态,通过工具调用指定末端执行器位姿与夹爪命令。 此前的展示多在不同任务、机器人和控制接口上进行,难以系统比较;LIBERO-10则是Octo、OpenVLA、π0.5等机器人学习方法的常用评测集。 六个模型各在低、中、高三档推理强度下评测,每档100个回合,共18种配置、1800个回合,全部在零样本、任务无关的系统提示下运行。

模型每回合只发一个工具调用:move_to给出目标位姿和夹爪命令,done与give_up结束回合。 move_to的目标由适配器插值成20 Hz的直线轨迹,交给LIBERO的operational space controller驱动机械臂,每个控制步后检查任务是否完成。 评测使用LIBERO-10全部十个任务,每个任务取前十个初始状态,单回合上限为80次模型调用和900个控制步。

成功率随推理强度上升,但并非所有模型都受益。 GPT-6 Astra从低档28%升到高档44%,Gemini-4 Argon从34%升到43%,GPT-6.1 Sol从24%升到33%,Claude Opus 5.5从9%升到33%;Claude Opus 5则从12%降到6%。 GPT-6 Astra与Gemini-4 Argon的高档配置每回合API成本约7至8美元,GPT-6.1 Sol与Claude Opus 5.5在33%成功率下成本约1.6至2.0美元。

启示与展望

评测范围是LIBERO-10的十个长程操作任务,每个任务取前十个初始状态,机械臂为带平行夹爪的Franka Emika Panda,全部在仿真中零样本运行,系统提示不含任务专属提示或示范。

模型自述的失败原因由模型自己生成,未必准确解释失败成因;作者将其视为理解失败的有用假设。此外,命令位移与实际达成位移存在差距,实际位移平均约为命令位移的64%至72%。