跳到主要内容
返回时间线
arXiv来源发表:

机器人动作不再全靠猜:Doppel把未来机体渲染进视频世界模型,未见轨迹PSNR提高1.00 dB

核心概要

视频世界模型通常只吃数值动作向量,模型得同时学会关节如何带动画面里的机体、以及机体如何改变环境。Doppel把沿候选关节轨迹渲染出的未来机体图像与数值动作一起作为条件,让共享模型专注预测物体与环境响应。在Droid、Bridge、RoboMind三个机械臂数据集上,它相对仅动作基线在未见轨迹上PSNR提高1.00 dB、分布外评测提高1.20 dB。

Source-provided article image: Render the Robot, Generate the World: One Video World Model Across Embodiments
arXiv

深度剖析

视频世界模型的条件输入里多了一路画面:沿候选关节轨迹渲染出的未来机体,与数值动作轨迹一起送入同一个模型。 此前的做法只用数值动作向量做条件,模型必须自己学会关节配置如何变成图像里的机体运动,而这部分映射本可由机器人几何与相机参数算出。 在Droid、Bridge、RoboMind三个机械臂数据集上,相对仅动作基线,未见轨迹上PSNR提高1.00 dB,分布外评测提高1.20 dB,并预测出更一致的物体运动。

渲染把不同机体的运动放到同一图像空间,因此一套权重可以跨机体共享。 不同机器人的关节维度和含义不同,通常需要各自的模型或机体专用模块。 一个共享视频骨干与条件适配器在Droid、Bridge、RoboMind上联合训练,覆盖Franka、UR5e、WidowX,约600小时视频,不使用机体标签;扩展到八种机体(Doppel-8)后,在六个机器人评测集中的四个上优于三机器人模型(Doppel-3)。

渲染需要相机与机器人基座的相对位姿,而许多离线操作数据集缺少这一外参。 缺少外参时,渲染出的机体无法与录制画面在相机视角下对齐,跨数据集构造条件视频就无从谈起。 用可微渲染器以RGB、光流和DINOv2特征对齐渲染轨迹与录像,恢复出WidowX、UR5e与双臂YAM共45,345条演示的相机外参,并随校准代码一并发布。

启示与展望

评测覆盖训练中出现过的机体,每条轨迹对应一台相机;结论建立在Droid、Bridge、RoboMind三个机械臂数据集以及另外五个含人形与人体数据的数据集上。

构造渲染需要准确的机器人几何、URDF与相机标定;离线数据集中缺失的外参虽可恢复,未知或快速变化的视角仍是限制。方法以配置轨迹为条件,处理不完美几何或更低层控制指令还需对机器人运动与执行的不确定性建模。向未见机体、多视角与更长时程的迁移留待后续工作。