跳到主要内容
检索

# 像素空间视频生成

2 篇关联报道

订阅更新
  1. arXiv

    视频扩散不再依赖预训练自编码器:JVT用纯像素Transformer在UCF-101把FVD做到136.5

    JVT把视频扩散直接放回像素空间,用大块补丁的DiT式Transformer完成去噪,不借助预训练自编码器、级联阶段或U-Net式跳连。此前像素空间视频生成多依赖U形结构或级联流程,而潜空间DiT是主流。在UCF-101类别条件生成上,JVT的FVD为136.5,低于潜空间DiT基线Latte的477.97;在相机条件任务中,联合生成RGB与视差把RTA@5从仅RGB的72.4提高到79.5。

  2. arXiv

    PixVid把视频生成搬回像素空间:每帧独立出token,相机控制下一帧就生效

    PixVid把预训练的潜空间视频扩散模型改造成逐帧在像素空间生成的模型:保留扩散Transformer,用卷积细节头替换VAE解码器,并从Wan2.1-14B微调。它在VBench上总分85.09(960p)与84.78(480p),高于Wan2.1的84.05和PixelUMM的83.72;在快速运动片段上保留98%的源运动,而同样微调的潜空间模型为83%。

已读完全部报道