跳到主要内容
返回时间线
arXiv来源发表:

机器人世界模型学会分辨动作差异:DROID上策略成功率相关性从0.47升到0.79

核心概要

机器人世界模型能生成逼真的操作视频,却常常忽略动作的细微变化,导致几乎相同的动作被预测成同样的结果。AFFECT把带记录扰动的动作注入训练数据,再要求生成视频对这些扰动的响应与真实录像一致,从而在不改架构、不需要同一初始状态重复执行的情况下加入动作敏感性监督。在DROID真机配置上,DreamDojo骨干的策略成功率皮尔逊相关系数从0.47升到0.79,FVD最多降低23%,并用于规划时提升任务成功率。

Source-provided article image: Learning What Actions Change: Action Effect Matching for Dynamics-Faithful World Models
arXiv

深度剖析

机器人世界模型在生成视频时开始对动作的细微差别作出区分,而不只是产出看起来合理的画面。 只按录像重建训练的世界模型,对真实后果不同的动作往往给出相近的预测,用作策略评估和规划时会误导选择。 在DROID真机配置上,DreamDojo骨干的世界模型内策略成功率与真机成功率之间的皮尔逊相关系数从0.47升到0.79,同时FVD最多降低23%。

做法是在采集数据时给动作加扰动,并让模型学会这些扰动带来的视觉变化。 训练数据来自在无任务指令的人类遥操作数据上训练的策略,采集时向每个动作块注入时间相关的噪声并记录注入量,因此不需要同一初始状态的重复执行,也不需要结果标签。 扰动特征与视频特征都用冻结编码器提取,损失比较录像与生成视频中两者的协方差;在UR5e仿真以及DROID、ALOHA-2两套真机配置上,六个骨干与本体组合的相关系数全部提升。

动作敏感性提升后,世界模型在闭环评估和候选动作筛选中的表现也随之改变。 规划时由同一组策略检查点给出候选动作,世界模型想象每个候选的未来视频,再由固定的成功估计器打分,只替换世界模型本身。 在UR5e的5个OGBench拾放任务上,平均成功率从随机选择的基线提高到使用DreamDojo,再提高到使用DreamDojo加AFFECT;ALOHA-2长程任务上平均提升约若干个百分点。

启示与展望

演示范围限于UR5e仿真环境以及DROID配置的Franka Research 3和双臂ALOHA-2两套真机装置,训练数据按扰动游玩协议采集,评估采用闭环策略 rollout 与候选动作筛选两种设置。

损失只约束所选特征库能检测到的响应,特征库未覆盖的响应不受约束;协方差由有限窗口估计,仍存在有限样本噪声;在ALOHA-2上DreamDojo的FVD从183略升到188;数据量减到20%时相对基线的提升变小。