同一个视频扩散Transformer兼做正逆动力学:O2LaF从无标注视频学动作,跨人机形态零样本迁移
核心概要
O2LaF把同一个预训练视频扩散Transformer(video DiT)分别改造成逆动力学编码器和前向动力学生成器,让两者共享同一份视频先验,从无动作标注的视频里学出可迁移的潜在动作。此前逆动力学模型多从零训练,或只把预训练视频生成器当作前向模型。在相机导航与机器人操作上,O2LaF在少样本线性探针中取得新的最优结果,并支持跨视觉场景与跨人—机形态的零样本动作迁移。
深度剖析
潜在动作学习不再需要从零训练逆动力学模型:同一个预训练视频扩散Transformer可以同时充当逆动力学和前向动力学,从无标注视频中给出可迁移的动作表示。 此前的做法要么让逆动力学模型在原始像素或冻结的预训练特征上从零学起,要么只把预训练视频生成器用作前向模型,逆动力学一侧始终缺少视频先验。 在相机导航与机器人操作两类任务上,冻结编码器后做少样本线性探针,O2LaF在离散与连续动作空间都取得新的最优结果;在GR-1机器人演示上,其EEF探针优于DreamDojo,而O2LaF的编码器只在人类演示上训练、未做机器人域适配。
两个动力学由同一份视频先验初始化,但各自被限制能看到的信息,从而分工承担推断动作与预测后果。 逆动力学被改成单次前向的过渡编码器,用可学习的动作查询只读取每段过渡的首尾两帧;前向动力学保留生成角色,改为帧因果的联合预测,并在高噪声时间步上训练。 实验在MiraData上训练、在MIND上评测相机导航,在EgoDex人类演示上训练、在GR-1实验室演示上评测操作;消融显示因果联合预测优于自回归预测,冻结主干只训练动作头明显弱于LoRA适配,前向模型从1.3B扩到14B时动作可解码性持续提升。
启示与展望
评测覆盖相机导航(MiraData训练、MIND评测)与机器人操作(EgoDex人类演示训练、GR-1实验室演示评测),训练潜在动作模型时不使用动作标注;跨形态的人—机动作迁移因配对演示在时间与空间上不对齐,只做定性评估。
学到的潜在动作空间结构仍不清楚,解释单个潜在动作主要依赖查看对应的参考视频;前向动力学的动力学是为视觉预测而非决策优化,视频扩散模型计算开销大,也不直接给出可执行动作或任务相关奖励。
