跳到主要内容
返回时间线
arXiv来源发表:

视频生成只在高清区域花算力:MPEG-Diffusion 在 Wan2.1 上提速去噪,画质贴近全分辨率

核心概要

视频扩散 Transformer 对每一帧的每个区域都按同一分辨率生成,注意力开销随 token 数增长,而混合分辨率生成此前在视频上画质骤降、还要求预先知道高清区域。MPEG-Diffusion 把失败归因于共享 K/V、解码器邻域敏感和外部给定区域三点,分别用双分辨率注意力、混合分辨率解码器和从 DiT 特征自选高清区域来处理。在 Wan2.1 1.3B 与 14B 上,它只处理部分全分辨率 token,去噪提速并几乎在全部指标上优于此前的混合分辨率方法,盲测中评分者对其偏好率高于 Phase-Aligned RoPE 与 Foveated Diffusion。

Source-provided article image: MPEG-Diffusion: Mixed-Resolution Video Generation
arXiv

深度剖析

视频生成可以把算力集中到画面中视觉上重要的区域:该区域按高分辨率生成,其余区域按低分辨率生成,从而降低每一步去噪的开销。 此前的混合分辨率方法在视频上画质明显下降,细节模糊并在分辨率交界处出现可见畸变,而且需要事先知道高分辨率区域。 在 Wan2.1 1.3B(480p)与 14B(720p)上,相同 token 预算下 MPEG-Diffusion 在两项设置的质量指标上均优于 Phase-Aligned RoPE 与 Foveated Diffusion;盲测中 15 名评分者对 400 组视频两两比较,对 MPEG-Diffusion 的胜率分别为 98.8% 和 90.1%。

方法由三部分组成:每个查询只读取与自己分辨率相同的键和值,高、低分辨率潜变量在解码前先混合,高分辨率区域由模型自身在去噪过程中选出。 双分辨率注意力用线性映射从另一分辨率补全缺失的键和值,替代此前高、低分辨率 token 共用一套键和值的做法。 在 Wan2.1 1.3B 上固定其他条件训练 5,000 步后,交界处的时序 LPIPS 从 4.59 降到 4.14,warping error 从 2.61 降到 1.96;区域选择头预测的高分辨率掩码与 LLM 加 Grounded SAM 标注的主体掩码在 1,003 条 MovieGen 生成视频上比较,原文报告该线性头能准确定位并跟踪主体。

启示与展望

演示范围是 Wan2.1 1.3B 在 480p、14B 在 720p 以及 14B 在 960p 配 240p 低分辨率轨的文本到视频生成,另在文本到图像模型 FLUX.2 klein 4B 上做了测试;评测使用 MovieGen 的 1,003 条提示、VBench 的 944 条提示和 1,000 条留出图像提示。

双分辨率注意力假设同一区域的高、低分辨率 token 之间存在线性关系,这是一个结构性约束,可能带来轻微画质下降;模糊的低分辨率区域与锐利的高分辨率细节之间的差异有时仍明显,需要更平滑的融合;区域选择头的主体标签来自 LLM 与 Grounded SAM,端到端微调留作后续工作。