跳到主要内容
返回时间线
arXiv来源发表:

无损扩散不必改模型:LLDM把像素拆成残差再缩放,ImageNet上gFID从104.29降到11.64

核心概要

无损潜扩散模型(LLDM)换了一条路:不改扩散模型的结构和目标,而是构造一个可逆变换,把像素映射成更适合扩散的表示。它保留预训练有损VAE的潜变量,把重建误差作为残差按通道拼接进去以保证像素级精确还原,再对残差做不均匀缩放。在ImageNet类到图任务上,LLDM的gFID为11.64,像素空间扩散为104.29;不加分类器无引导时,SD-VAE为26.02、FLUX2-VAE为10.18。

Source-provided article image: Lossless Latent Diffusion Models
arXiv

深度剖析

图像扩散模型现在可以在保证像素级精确重建的同时,沿用标准潜扩散训练流程,不必为像素空间另造架构或目标函数。 此前的做法要么直接在像素空间建模并修改训练目标或模型结构,要么用有损VAE换取建模效率、放弃精确重建。 在ImageNet类到图任务上,LLDM的gFID为11.64,像素空间扩散为104.29;不加分类器无引导时,SD-VAE为26.02、FLUX2-VAE为10.18。

做法是把图像信息重新组织成一个可逆的潜表示,让扩散模型面对更易学习的分布。 具体用残差分解:保留预训练有损VAE的潜变量,把重建误差作为残差按通道拼接进去,从而精确还原原图。 在此基础上再做不均匀潜缩放,把残差乘以小于1的因子;在FLUX2-VAE上,残差分解把gFID从52.31降到48.37,加缩放后降到11.66。

为解释这种变换为何有效,作者提出语义秩优先度(SRP):只在潜表示的前若干个主成分上测线性分类精度。 常规线性分类精度对可逆线性变换不变,因此看不出不均匀缩放带来的差别。 在22个开源有损VAE的基准上,SRP@5与扩散gFID的皮尔逊相关系数为0.86,而常规Acc@5为0.49。

启示与展望

演示范围是ImageNet类到图与Diffusion-Bench文到图,扩散模型统一用SiT-XL训练40个epoch;结论限于这些数据集、训练协议与所报告的分辨率设置。

最优缩放因子随基础VAE变化很大:RAE上任何取值都使生成变差,VTP-L在0.1最好,FLUX2-VAE偏好0.01;端到端学习一个面向扩散优化的可逆变换仍是开放问题。