27B开源模型在仿真里学会开机器人:真机双臂试验30次成功18次,基座模型一次未成
核心概要
开源权重推理模型Qwen3.8-27B此前在机器人任务上几乎不成功,LIBERO成功率仅1.6%。研究者搭建PEAR训练引擎,用机器人使用强化学习在仿真中训练它直接输出末端位姿,无需演示数据或感知工具。训练后LIBERO成功率达到74.4%,并在从未见过的真实双臂机器人上30次试验成功18次,基座模型为0次。
深度剖析
一个27B规模的开源权重推理模型可以不经演示、不借助外部工具,仅靠仿真中的强化学习学会直接操作机器人,并把技能带到真机上。 此前机器人使用智能体的强表现只出现在GPT-6 Astra、Claude Fable 5.2等闭源前沿模型上,开源权重模型在同一批基准上成功率很低,部分简单任务也会失败。 在LIBERO上,训练把成功率从基座模型的1.6%提升到74.4%,接近GPT-6 Astra的80.6%和GPT-6.1 Sol的76.2%(两者均为最大推理努力),并高于两者中等努力下的49.3%和48.1%。
模型像计算机使用智能体一样工作:看相机图像和机械臂状态,用思维链推理,直接给出末端执行器下一个位姿。 逆运动学把该位姿转成关节目标,由机器人自身控制器执行,因此仿真与真机共用同一接口,换机器人只需改提示中的部件与相机描述。 训练在LIBERO和RoboDojo两个仿真器上完成,真机试验使用从未参与训练的双臂YAM,每个模型跑30次;最终模型成功18次,仅用LIBERO训练的检查点成功7次,基座模型0次。
启示与展望
演示范围限于LIBERO与RoboDojo两个仿真器中的少量任务,以及一台双臂YAM上的30次真机试验;读者对象是关注机器人基础模型与强化学习后训练的研究者。
训练因GPU资源有限停在两个RoboDojo任务上;模型每次移动前推理较长,单轮约4.3秒,个别思维链可达32k token;27B基座模型对本体知识不足,成功率明显依赖提示中给出的本体与环境描述。
