跳到主要内容
返回时间线
arXiv来源发表:

少步扩散模型丢的不是方差而是方向:ReDiverse在单个中间块把多样性找回来

核心概要

把扩散模型蒸馏成四步学生后,同一提示下不同随机种子生成的图像和视频几乎一样。ReDiverse通过逐块比较师生激活发现,学生的总激活方差并未减少,只是被压缩到远少于教师的方向上,且集中发生在初始去噪步的一个中间块。据此,ReDiverse-FT在该块用LoRA把学生首步激活回归到教师激活,ReDiverse-TF则沿教师主方向扰动激活,两者在SDXL、SD3、Wan 2.1和MiniMax-H3四对师生模型上恢复多样性并基本保持生成质量。

Source-provided article image: Restoring Diversity in Distilled Image and Video Generators by Probing Activations
arXiv

深度剖析

少步蒸馏模型丢失的是激活方差的方向分布,而不是方差总量:同一提示下换随机种子,学生输出几乎不变,但内部激活的总方差与教师相当甚至更高。 此前对多样性坍缩的解释多归于蒸馏目标、对抗训练或步数预算,补救办法要么重新蒸馏学生,要么在推理时优化噪声或扰动特征,都没有定位到网络内部哪一层开始丢失变化。 在SDXL、SD3、Wan 2.1和MiniMax-H3四对师生模型上逐块测量,学生保留的总方差为教师的1.03至2.92倍,而参与率(方差实际铺开的方向数)只有教师的0.37至0.60。

修复只需在初始去噪步的一个中间块上动手:把教师的主方向补回学生激活,下游层仍能解码出不同的构图与姿态。 沿教师主方向扰动教师自身会改变镜头取景、主体姿态和场景构图,而沿学生自己的主方向扰动只改变外套花纹、局部光照等外观细节,全局几何不变。 在坍缩块上做激活引导,把教师的首个主方向注入学生即可恢复多样的姿态与布局,且不修改任何学生权重;同一教师蒸馏出的FastVideo与Turbo在该块保留的参与率分别为61%和28%,对应DINO多样性52.3与35.8,教师为55.3。

ReDiverse-FT只训练坍缩块及之前各层的LoRA,把学生首步激活回归到教师对应块的激活,推理时仅在首步启用;ReDiverse-TF不训练,按提示预先算出教师主方向,在首步按教师沿各方向的离散度随机缩放注入。 两种干预可单独使用也可叠加,且都作用于已公开发布的四步学生检查点,不需要重新蒸馏。 在GenEval的553个图像提示(每提示100个种子)和VBench的300个视频提示(每提示10个片段)上,所有方法共用同一噪声库做配对比较;SDXL上学生DINO为59.4,ReDiverse为65.0,教师为66.3;Wan 2.1上学生为31.6,ReDiverse为52.2,教师为51.6。

启示与展望

结论建立在四对师生模型上:SDXL配DMD2、SD3-M配TDM、Wan 2.1配lightx2v、MiniMax-H3配Turbo,全部是公开发布的四步检查点,未重新蒸馏;评估使用GenEval的553个图像提示和VBench的300个视频提示,所有方法共用同一噪声库做配对比较。

质量仍会偶尔下降,最明显的是图像上的奖励模型分数和视频相对教师的真实感评分,因为ReDiverse是在蒸馏之后修正学生而非在蒸馏过程中修正;两种变体都假设学生与教师共享架构,像BK-SDM这样的压缩学生需要学习匹配块之间的投影。