跳到主要内容
检索

# 视频扩散Transformer

2 篇关联报道

订阅更新
  1. arXiv

    视频压缩不再等整段片段:SGVC把视频DiT改成逐帧因果精修器,DISTS码率平均省71.97%

    超低码率下的生成式视频压缩通常依赖预训练视频扩散Transformer,但重建帧要经过计算昂贵的VAE解码器,联合精修多帧又会引入缓冲延迟。SGVC把解码后的编解码特征直接投影进视频DiT的输入嵌入空间,用嵌入对齐弥合两者表示差距,并让逐层K/V状态跨帧传播,从而在逐帧因果解码下复用时空先验。在HEVC Class B、UVG和MCL-JCV上,相对S2VC,SGVC在DISTS上平均BD-rate节省71.97%,在LPIPS上为35.94%。

  2. arXiv

    视频生成只在高清区域花算力:MPEG-Diffusion 在 Wan2.1 上提速去噪,画质贴近全分辨率

    视频扩散 Transformer 对每一帧的每个区域都按同一分辨率生成,注意力开销随 token 数增长,而混合分辨率生成此前在视频上画质骤降、还要求预先知道高清区域。MPEG-Diffusion 把失败归因于共享 K/V、解码器邻域敏感和外部给定区域三点,分别用双分辨率注意力、混合分辨率解码器和从 DiT 特征自选高清区域来处理。在 Wan2.1 1.3B 与 14B 上,它只处理部分全分辨率 token,去噪提速并几乎在全部指标上优于此前的混合分辨率方法,盲测中评分者对其偏好率高于 Phase-Aligned RoPE 与 Foveated Diffusion。

已读完全部报道