机器人策略不再预测整幅未来画面:ResWAM只学帧间残差,LIBERO-Plus成功率81.1%
核心概要
世界-动作模型通常让策略预测完整的未来观测,但一个动作块内画面变化很小,LIBERO上当前帧与未来帧特征的余弦相似度平均为0.96,未来损失大多靠复制静态背景就能满足。ResWAM改为在冻结的DINOv3特征空间里只监督当前帧到未来帧的残差,并用一个0.5B双分支DiT同时去噪动作与残差,总参数2.3B。不做机器人预训练时,它在LIBERO-Plus上取得81.1%平均成功率,在RoboTwin 2.0上取得93.8%,训练与推理算力分别为2.7–4.0和1.0–1.4 TFLOPs。
深度剖析
世界-动作模型的监督目标从完整未来观测换成当前帧到未来帧的特征残差,策略要学的是场景怎么变,而不是未来长什么样。 此前的世界-动作模型要么用视频生成模型重建完整未来帧,要么挂一个独立世界模型预测完整未来特征,监督信号被几乎不变的背景占据。 在LIBERO上,当前帧与未来帧的DINOv3特征平均余弦相似度为0.96,说明完整未来目标大部分可由复制当前内容满足;残差目标的有效秩从15.22升到22.06,稳定秩从3.08升到5.48。
残差分支与动作分支共用一个轻量双分支DiT,在潜空间里一起去噪,不需要像素级重建,也不需要单独的世界模型。 视频生成式世界-动作模型要微调大型视频扩散模型并配3D视频VAE,外部世界模型式方案则要先查询一个独立预训练世界模型。 ResWAM总参数2.3B,其中双分支DiT为0.5B,以条件流匹配联合训练;在RoboTwin 2.0全部50个双臂任务上,去掉残差分支后平均成功率从93.8%降到89.9%,改为预测完整未来特征则为90.9%。
不做机器人预训练,ResWAM在三个仿真基准和真实FR3机械臂任务上都取得对比方法中最高的平均成功率,同时训练与推理算力最低。 对比对象包括带机器人预训练的VLA与世界-动作模型,例如LIBERO-Plus上最强的VLA基线VLA-JEPA为79.5%,最强的世界-动作模型基线LaWAM为76.6%。 LIBERO-Plus为81.1%,RoboTwin 2.0为93.8%,RoboDojo为9.40%成功率与13.41进度分;真实FR3的Open、Put、Stack三任务平均80.0%,单块推理延迟92.7 ms。
启示与展望
验证覆盖LIBERO-Plus全部10,030个扰动回合、RoboTwin 2.0全部50个双臂任务、RoboDojo全部42个任务共2,100个回合,以及Franka Research 3机械臂上Open、Put、Stack三个桌面任务各30次试验;所有结果均为不做机器人预训练条件下取得。
残差目标的有效秩与稳定秩优势是在LIBERO与RoboTwin 2.0的窗口统计上给出的,真实机械臂只评估了三个桌面任务;Stack任务上ResWAM成功率为53.3%,明显低于Open的90.0%与Put的96.7%。
