跳到主要内容
返回时间线
arXiv来源发表:

DreamX把视频扩散模型变成通用潜在动作学习器:人视频动作可零样本迁移到机器人

核心概要

DreamX把预训练视频扩散模型本身当作潜在动作编码器,用可学习查询从时空特征中读出紧凑动作表示,再由同一模型的生成先验重建未来帧来监督这些表示。在LARYBench上,它的动作回归MSE从最强基线DiLA的0.38降到0.17,动作分类准确率从62.25%升到69.67%。在未使用配对人—机器人数据训练的情况下,同一潜在动作空间支持任意到任意的视频迁移,以及人类视频到机器人的零样本动作迁移。

Source-provided article image: DreamX: Video Diffusion Model is a Universal Latent Action Learner
arXiv

深度剖析

DreamX让预训练视频扩散模型直接充当潜在动作学习器,从视频中读出与外观解耦的动作表示,使同一套潜在动作可以跨人类与机器人、跨环境、跨动作参数化共享。 此前的潜在动作模型多从单帧对或局部视觉过渡从头学习动作空间,重建精度本身不能保证动作与视角、场景外观等域特定视觉信息分离。 在LARYBench上,DreamX的动作回归MSE为0.17,最强基线DiLA为0.38;动作分类准确率为69.67%,DiLA为62.25%。

实现方式是在视频词元序列中加入可学习查询词元,让它们经过骨干网络的时空注意力收集跨帧的动作相关信息,再把每个潜在视频帧压缩成少量潜在动作词元。 这些潜在动作替代文本条件,与初始帧一起送入同一个预训练视频模型重建未来帧;初始帧提供场景外观,生成先验补足视觉细节,重建目标因此促使潜在动作只编码解释未来所需的运动。 模型以Cosmos-Predict2.5 2B为骨干,在约2.19千小时的人类与机器人视频上预训练,编码器和解码器各用独立的rank-16 LoRA模块训练78,000步,骨干权重保持冻结。

启示与展望

演示范围包括LARYBench上的表示质量评测、HumanAndRobot上1,008段、21个任务的零样本人—机器人视频迁移,以及双臂YAM机器人上的开环动作迁移和三种抽屉关闭配置的真实策略实验。策略实验每个场景评估10次试验,推理延迟为每次策略调用1.47秒。

跨本体迁移并非显式训练目标,而是被描述为从预训练中涌现、无需额外训练的能力。动作迁移以开环方式执行,不使用视觉反馈;策略结果限于所评估的抽屉关闭场景,跨本体迁移与机器人策略在评估设置之外可能失败,部署前需要安全验证。