视频扩散不再依赖预训练自编码器:JVT用纯像素Transformer在UCF-101把FVD做到136.5
核心概要
JVT把视频扩散直接放回像素空间,用大块补丁的DiT式Transformer完成去噪,不借助预训练自编码器、级联阶段或U-Net式跳连。此前像素空间视频生成多依赖U形结构或级联流程,而潜空间DiT是主流。在UCF-101类别条件生成上,JVT的FVD为136.5,低于潜空间DiT基线Latte的477.97;在相机条件任务中,联合生成RGB与视差把RTA@5从仅RGB的72.4提高到79.5。
深度剖析
视频扩散可以完全在像素空间完成,主干只是一个处理大块时空补丁的DiT式Transformer,不需要预训练自编码器把视频压进潜空间,也不需要额外的细节修复模块、级联阶段或U-Net式跳连。 此前像素空间视频生成通常保留U-Net式跳连或采用级联生成,而高分辨率视频生成的主流是先用自编码器压缩、再在潜空间做DiT去噪。 在UCF-101类别条件生成上,JVT的FVD为136.5,同一张表里潜空间DiT基线Latte为477.97;在FaceForensics、SkyTimelapse和Taichi-HD的无条件生成上,JVT分别为32.86、46.58和119.1,Latte对应为34.00、59.82和159.60。
让原始视频变得可处理的关键在补丁嵌入:它承担潜空间模型里自编码器所做的初始下采样,同时把时空信息聚合成固定长度的词元序列。 标准视频Transformer用单个三维卷积把不重叠的时空补丁投影成词元,JVT在此基础上比较了带通道瓶颈的版本,以及把空间与时间操作拆开的两种顺序。 在相同训练设置下,带瓶颈的嵌入变体最终训练损失都低于普通管状嵌入;综合生成质量与效率,JVT默认采用先做逐帧二维卷积、再做逐位置一维卷积的补丁优先嵌入,瓶颈宽度取32。
像素空间还让视频与像素对齐的辅助模态可以直接拼在同一张时空网格上联合生成,相机条件任务里RGB与视差共用同一噪声水平一起去噪。 潜空间扩散通常要复用面向RGB的自编码器来处理深度等对齐模态,推理时还需额外的重建模型才能得到几何。 在RealEstate10K的8帧相机条件生成中,联合RGB-视差版本的RTA@5为79.5、AUC@5为58.6,仅RGB的JVT为72.4和52.8,FVD则从27.0小幅升到27.5;预测视差转回深度后可直接反投影成世界坐标点云序列。
启示与展望
演示范围限于16帧、固定分辨率的短视频片段:类别条件与无条件生成在UCF-101、FaceForensics、SkyTimelapse和Taichi-HD上评估,相机条件生成在RealEstate10K上做8帧实验。作者提出后续可把像素空间视频生成扩展到更大模型、更多数据集、更长视频和更高分辨率。
寄存器引导的增益只在语义更多样的UCF-101上明显,在另外三个数据集上没有明显收益;相机条件生成中相对旋转精度普遍很高,而相对平移精度明显偏低,联合视差只是缩小这一差距。作者把寄存器引导的数据集差异归因于全局语义多样性,属于假设。
