扩散Transformer放大到4K不再丢语义:文本注意力保持全局,图像注意力退回训练尺度
核心概要
扩散Transformer(DiT)文生图模型在超出训练分辨率时会出现语义退化,生成内容失去可辨识含义。一种免训练框架把文本令牌的注意力保持为全局,同时把图像令牌的感受野限制在训练分辨率尺度,再沿去噪轨迹做跨尺度与跨时间的高频细节校正。在Flux.1.0-dev上,该方法在2048×2048、2048×4096和4096×4096三种分辨率下的FID、KID及分块版本FIDp、KIDp均优于所列免训练方法,4096×4096推理耗时14.7,而ScaleDiff在该分辨率因显存不足无法运行。
深度剖析
高分辨率文生图不再只靠低分辨率结构先验兜底,而是先修复模型自身在高分辨率下丢失语义的能力。 此前的免训练DiT方法主要依赖低分辨率结构引导,在推理时注入结构先验,而不直接处理模型内在的语义退化。 在Flux.1.0-dev上,该方法在2048×2048、2048×4096和4096×4096三种分辨率下的FID、KID、FIDp、KIDp均为所列方法中最好,例如4096×4096下FID为39.687,对比HiFlow的43.832。
语义恢复之后仍需修正去噪轨迹,否则全局布局会出现局部重复、细节发糊。 仅注入初始结构先验时,结构约束只出现在起始阶段,反向过程会逐渐漂移并产生重复结构,且从模糊图像出发的轨迹缺少高频成分。 在2048×2048分辨率下逐项加入组件,全局与局部指标持续改善,完整方法在该分辨率达到FID 39.175、KID 0.001、FIDp 10.362、KIDp 0.002、CLIP Score 34.01。
文本与图像令牌的注意力尺度被拆开处理,图像令牌只看训练尺度邻域,文本令牌仍看全部令牌。 标准联合自注意力中,分辨率升高会让每个查询令牌的感受野按平方增长,注意力过于均匀并关注大量无关区域。 与重叠分块注意力相比,该方案不需要分块重叠与平滑融合,在对比中背景树木等细节更清晰;推理加速主要来自用局部注意力替代全局注意力。
启示与展望
演示范围是Flux.1.0-dev在2048×2048、2048×4096和4096×4096三种分辨率上的免训练高分辨率生成,评测使用1K条高质量描述,FID与KID以LAION-High-Resolution的10K张真实图像为参考。方法还直接在Aidma与BWK两个定制模型变体上应用并改善高分辨率输出。
在图像—文本对齐的CLIP Score上,该方法在2048×4096设置下略低于ScaleDiff,属于有竞争力的水平而非全面领先。FID与KID需要把图像缩放到固定尺寸,可能无法反映高分辨率细节,因此另算了分块版本FIDp与KIDp。
