跳到主要内容
返回时间线
arXiv来源发表:

Motubrain把视频预测与动作生成放进同一模型:RoboTwin 2.0随机场景成功率96.1%,推理提速54.4倍

核心概要

Motubrain把未来画面预测和动作生成合并进一个统一的世界动作模型,让机器人不必先预测视频再由逆动力学反推动作。它在RoboTwin 2.0的干净与随机场景上分别取得95.8%和96.1%的平均成功率,并在WorldArena上拿到63.77的EWMScore。同一模型还通过减少去噪步数、编译、FP8量化和缓存等推理优化,把端到端速度提升到朴素基线的54.4倍,达到11 Hz。

Source-provided article image: [2604.27792] Motubrain: An Advanced World Action Model for Robot Control
arXiv

深度剖析

机器人控制模型不再把“预测未来画面”和“决定动作”拆成两步,Motubrain用同一个生成框架同时给出视频与动作。 此前的做法是先用视频生成模型预测未来视觉轨迹,再用逆动力学模型从生成帧反推动作,视频预测的误差会随时间累积并拖累动作精度。 在RoboTwin 2.0上,Motubrain在干净场景取得95.8%、随机场景取得96.1%的平均成功率,是所比较模型中随机场景唯一超过95%的一个。

模型把文本、视频、动作分成三条并行的Transformer流,只在中间一半层做视频与动作的联合注意力。 这种H-bridge注意力设计让浅层和深层各自保留模态特有的表示,只在中间层完成语义对齐与策略落地,从而降低稠密跨模态注意力的开销。 训练数据按互联网视频、第一人称视频、异构双臂机器人和目标本体数据四级组织,视频与动作分别用流匹配预测各自的速度场。

部署侧把推理循环与机器人执行循环解耦,云端GPU上达到11 Hz的实时推理频率。 朴素部署的世界动作模型远低于高频操作所需的控制频率,联合去噪高维视频潜变量和动作潜变量是主要瓶颈。 逐项叠加噪声采样、torch.compile、FP8量化、DiT缓存和V2A式非对称推理后,端到端延迟从4.90秒降到0.09秒,相对基线提速54.4倍。

启示与展望

演示范围覆盖RoboTwin 2.0仿真基准的50个任务、WorldArena世界模型评测,以及多个人形平台上的真实家庭操作任务;真实任务每个用100条任务特定轨迹训练,适配新本体需要50–100条同本体轨迹。推理在云端GPU上远程执行,而非机器人本体计算。

WorldArena的原始研究指出EWMScore与下游动作规划成功率仅弱相关(r=0.36),因此感知分数高并不自动等于控制更好。真实任务中仍有失败步骤,例如插花任务的总体得分为83.30,低于倒饮料和调酒任务。作者把进一步减少同本体数据需求、扩展到长时程移动操作与触觉交互列为后续方向。