视觉语言模型改写机械臂代价程序:仿真里最多五轮反馈,四任务成功率97.5%
核心概要
接触密集的机械臂操作此前要么依赖端到端学习策略,要么需要针对已知场景手工设计奖励与约束。Objectives as Policies 让预训练视觉语言模型生成一份可编辑的多阶段代价程序,由同一个采样式模型预测控制器在数字孪生中执行,再依据执行统计反复修改。四个桌面任务上,仿真中最多两轮反馈累计成功率为90%,最多五轮达到97.5%;在物体位置被扰动的真实场景中,仿真成功的程序执行成功率为80%。
深度剖析
机械臂的接触密集操作现在可以由一份显式的多阶段代价程序来指定,而不必为每个任务训练专用策略。 此前的物理规划方法需要预先知道任务与场景并手工设计奖励和约束,端到端学习策略则直接从视觉观测预测动作,没有显式的物理模型用于在线规划。 在四个桌面任务的仿真对比中,Objectives as Policies 使用两轮反馈达到36/40(90%),高于 ReKep 的17/40、Language to Rewards 的11/40 和适配版 CoRAL 的31/40,OpenVLA-OFT 为0/40。
视觉语言模型只负责写出目标,具体控制交给一个共享的采样式模型预测控制器。 代价程序把任务拆成若干阶段,每阶段由代价库中的运行代价、终端代价和完成阈值组成,模型预测控制器按这些代价优化控制序列。 控制器采用 MPPI,在 MuJoCo-warp 中并行展开采样轨迹,因此不需要对接触动力学求导;实验使用七自由度 Flexiv Rizon 4s 机械臂、GN01 夹爪和 ZED 2i 相机,每次执行最多250次控制器更新、20秒指令运动。
程序在部署前先在数字孪生里试跑,失败记录再交回视觉语言模型修改。 模型先对草稿做一次自审,检查后续阶段能否从前一阶段的结束状态开始,以及是否存在冲突目标或不可行的抓取要求。 自审把零反馈轮次的首次执行成功数从20/40提高到26/40,随着反馈轮次增加这一差距收窄;最多五轮反馈时,无自审为95%,有自审为97.5%。
启示与展望
演示范围是四个桌面任务:把黑板擦放到盒子上、把杯子倾斜至少一定角度、直接推动白盒至少60毫米、用黑板擦推动白盒至少60毫米;仿真中每个任务重复10次,真实世界每个任务选取五个仿真成功的程序,在两种物体位置扰动下各执行一次。
真实执行的成功率受数字孪生精度限制:视觉语言模型估计的摩擦系数可能与实物相差较大,3D打印杯在仿真中抓取稳定却在真实机械臂上滑落;仿真把物体视为刚体,而实物在接触下会变形。程序是线性、只向前的阶段序列,阶段完成后控制器无法回到前一阶段,显式阶段恢复被列为未来工作。
