DreamX把视频扩散模型变成通用潜在动作学习器:人视频动作可零样本迁移到机器人
DreamX把预训练视频扩散模型本身当作潜在动作编码器,用可学习查询从时空特征中读出紧凑动作表示,再由同一模型的生成先验重建未来帧来监督这些表示。在LARYBench上,它的动作回归MSE从最强基线DiLA的0.38降到0.17,动作分类准确率从62.25%升到69.67%。在未使用配对人—机器人数据训练的情况下,同一潜在动作空间支持任意到任意的视频迁移,以及人类视频到机器人的零样本动作迁移。
DreamX把预训练视频扩散模型本身当作潜在动作编码器,用可学习查询从时空特征中读出紧凑动作表示,再由同一模型的生成先验重建未来帧来监督这些表示。在LARYBench上,它的动作回归MSE从最强基线DiLA的0.38降到0.17,动作分类准确率从62.25%升到69.67%。在未使用配对人—机器人数据训练的情况下,同一潜在动作空间支持任意到任意的视频迁移,以及人类视频到机器人的零样本动作迁移。
已读完全部报道