视觉语言模型改写机械臂代价程序:仿真里最多五轮反馈,四任务成功率97.5%
接触密集的机械臂操作此前要么依赖端到端学习策略,要么需要针对已知场景手工设计奖励与约束。Objectives as Policies 让预训练视觉语言模型生成一份可编辑的多阶段代价程序,由同一个采样式模型预测控制器在数字孪生中执行,再依据执行统计反复修改。四个桌面任务上,仿真中最多两轮反馈累计成功率为90%,最多五轮达到97.5%;在物体位置被扰动的真实场景中,仿真成功的程序执行成功率为80%。
接触密集的机械臂操作此前要么依赖端到端学习策略,要么需要针对已知场景手工设计奖励与约束。Objectives as Policies 让预训练视觉语言模型生成一份可编辑的多阶段代价程序,由同一个采样式模型预测控制器在数字孪生中执行,再依据执行统计反复修改。四个桌面任务上,仿真中最多两轮反馈累计成功率为90%,最多五轮达到97.5%;在物体位置被扰动的真实场景中,仿真成功的程序执行成功率为80%。
已读完全部报道