机器人策略多采样收益很快见顶:PlanDiv让候选按潜计划分叉,CALVIN五连任务从56.9%升到69.9%
核心概要
视觉-语言-动作策略的测试时扩展通常从同一个解码器反复采样再挑最好的一个,但候选之间只差噪声,CALVIN上从四个加到八个只多完成0.06–0.07个任务。PlanDiv改换候选来源:一个轻量规划器提出潜计划假设,共享的掩码扩散执行器在一次骨干前向中为每个计划解码一个动作块,策略执行自身似然最高的那一块。在骨干、数据和训练配方固定的条件下,八个按计划分叉的候选把CALVIN ABCD五连任务成功率从56.9%提到69.9%,而自回归、无计划与同计划重采样最多到64.9%。
深度剖析
机器人策略的测试时扩展不再只靠多抽几个动作再打分,而是让候选动作来自不同的潜计划,每个计划对应一种对当前局面的处理方式。 此前的做法是从同一个解码器反复采样,候选之间只差温度噪声、动作扰动或改写后的指令,因此多抽的样本往往继承同一个错误方向。 在骨干、数据、训练配方和选择器都相同的条件下,自回归、无计划掩码扩散和固定单一计划这三种重采样来源,从四个候选加到八个只让CALVIN平均完成任务数增加0.06–0.07。
做法是在动作头上加一个轻量规划器,把学到的种子映射成若干潜计划假设,再由一个共享的掩码扩散执行器在一次骨干前向中为每个计划解码一个动作块。 掩码扩散执行器按迭代去掩码的方式生成动作块,而不是从左到右逐词生成;计划只作为执行器的条件,骨干、分词器和动作词表都保持不变。 计划与执行器仅凭示范数据联合训练,用软期望最大化式的潜在责任分配把每个示范动作块记到最能解释它的假设上,不需要计划标签或奖励;在CALVIN ABCD上八个计划条件候选达到69.9%,同检查点固定单一计划的八个候选为64.4%。
计划带来的差别可以被单独隔离出来:固定解码噪声只换计划,任务结果改变的比例是只换噪声的两倍以上。 同计划重采样与PlanDiv共用检查点、第一个候选和每个候选的随机数,因此两者的差距只能归因于计划本身。 在CALVIN子任务起始状态库上,只换计划使16.2%的状态任务结果改变,只换噪声为7.2%;八个不同计划覆盖92.1%的状态,八个同计划样本覆盖86.1%。
在真实Franka机械臂上,收益出现在有多种解法的任务上,而单一解法的任务上与单输出基线持平。 OpenVLA-OFT+基线每次只输出一个动作块,PlanDiv在相同骨干上以八个候选执行似然最高的一个。 单解法的推碗任务两者相差一次试验(25/25对24/25);两个双解法任务上PlanDiv在54次试验中成功51次,基线成功40次,消除了基线14次失败中的11次。
启示与展望
已展示的范围是CALVIN ABCD与LIBERO-Long两个仿真基准,以及一台配两路相机、15赫兹的Franka机械臂;真实机器人上只比较了三个任务,其中两个各有两种解法。读者若关心其他本体、其他任务类型或更长时程,需要看后续在这些设置下的验证。
计划从示范中学习,没有计划标签或奖励,因此计划空间由数据决定;在只有单一解法的任务上,PlanDiv与单输出基线只差一次试验,收益并不明显。真实机器人上双解法任务的部分示范只覆盖一侧,例如罐子绕障任务58条示范中仅8条走远侧。
