机器人动作专家不再只学示范:HINT-WAM用示范的未来画面当老师,LIBERO-90成功率从78.88%升到85.18%
核心概要
世界动作模型把动作生成与未来视觉预测耦合,但离线监督微调只让动作专家学习加噪的示范动作,从不接触自己采样器产生的中间状态。HINT-WAM让同一个模型在额外读取示范未来视频的条件下充当教师,在学生自己的去噪轨迹上以能量分数做分布级蒸馏,只更新动作专家。在未见过的LIBERO-90上,成功率从监督微调的78.88%升到85.18%,并高于同时微调视频与动作专家的全量微调81.24%。
深度剖析
世界动作模型的后训练多了一条不依赖环境奖励或模拟器交互的路径:动作专家可以在自己采样器实际经过的状态上接受密集监督。 离线监督微调只在示范动作的加噪版本上训练动作专家,从不训练它自己采样器产生的中间状态;在策略强化学习虽用自身行为训练,却只给出标量奖励,稀疏成功奖励下探索与信用分配代价高。 在未见过的LIBERO-90的90个任务上,HINT-WAM达到85.18%成功率,监督微调为78.88%,全量微调为81.24%;继续用同样步数做行为克隆反而降到71.56%。
教师由学生自身权重加上一个轻量后见分支构成,学生只看到部署时可得的输入。 此前的在策略蒸馏需要额外训练一个更强的任务专用教师,后训练计算开销大;HINT-WAM不需要单独训练的教师。 后见编码器与门控适配器合计约13M参数,仅教师使用;视频专家在各阶段保持冻结,部署时只保留学生,策略不需要访问未来。
蒸馏目标匹配动作分布而不是回归教师的速度场,避免学生落到教师条件均值上。 直接回归教师速度场会把学生拉向教师在学生可见信息下的条件均值,而该均值可能不落在任何一个模态上。 在相同教师、在策略状态、锚项与训练预算下,能量分数达到85.18%,速度匹配为78.88%,与监督微调基本持平。
启示与展望
演示范围限于LIBERO-90的90个未见任务与RoboTwin 2.0的25个困难任务,均为仿真环境,每任务50次试验,所有方法共享相同初始状态与采样器。这里的在策略指动作采样器产生的去噪状态,观测仍取自示范,不涉及闭环交互数据收集。
在策略状态来自采样器而非闭环交互,因此不处理跨控制步的复合误差;在RoboTwin 2.0上发布的检查点已在这些示范上训练过,提升幅度较小,与发布检查点的差异不显著。去掉回放时所有方法在原始四个套件上仍严重遗忘,HINT-WAM只是遗忘最少。
