跳到主要内容
检索

# 少步扩散模型蒸馏

2 篇关联报道

订阅更新
  1. arXiv

    少步扩散模型丢的不是方差而是方向:ReDiverse在单个中间块把多样性找回来

    把扩散模型蒸馏成四步学生后,同一提示下不同随机种子生成的图像和视频几乎一样。ReDiverse通过逐块比较师生激活发现,学生的总激活方差并未减少,只是被压缩到远少于教师的方向上,且集中发生在初始去噪步的一个中间块。据此,ReDiverse-FT在该块用LoRA把学生首步激活回归到教师激活,ReDiverse-TF则沿教师主方向扰动激活,两者在SDXL、SD3、Wan 2.1和MiniMax-H3四对师生模型上恢复多样性并基本保持生成质量。

  2. arXiv

    VA-TDM把四步生成的监督换成速度场对抗:33B音视频模型上对多步教师的偏好率升到45.53%

    少步扩散蒸馏长期依赖学生分数估计,而中间步骤的分数难以准确跟踪,估计出的分布可能与更新学生所用的分布不一致。VA-TDM把监督对象换成由学生采样过程构造的速度场,用学习到的评论器比较学生与教师速度场并把分歧转化为生成器反馈,同时统一了分数蒸馏、Fisher匹配与矩匹配。在SD3.5-Medium四步生成上,GenEval从TDM的0.61升到0.67;在33B的MiniMax-H3上,同预算4-NFE下人类偏好对比中胜Fast-H3的比例为61.33%,对100-NFE教师的偏好率为45.53%,Fast-H3为24.67%。

已读完全部报道