同一个视频扩散Transformer兼做正逆动力学:O2LaF从无标注视频学动作,跨人机形态零样本迁移
O2LaF把同一个预训练视频扩散Transformer(video DiT)分别改造成逆动力学编码器和前向动力学生成器,让两者共享同一份视频先验,从无动作标注的视频里学出可迁移的潜在动作。此前逆动力学模型多从零训练,或只把预训练视频生成器当作前向模型。在相机导航与机器人操作上,O2LaF在少样本线性探针中取得新的最优结果,并支持跨视觉场景与跨人—机形态的零样本动作迁移。
O2LaF把同一个预训练视频扩散Transformer(video DiT)分别改造成逆动力学编码器和前向动力学生成器,让两者共享同一份视频先验,从无动作标注的视频里学出可迁移的潜在动作。此前逆动力学模型多从零训练,或只把预训练视频生成器当作前向模型。在相机导航与机器人操作上,O2LaF在少样本线性探针中取得新的最优结果,并支持跨视觉场景与跨人—机形态的零样本动作迁移。
已读完全部报道