跳到主要内容
返回时间线
arXiv来源发表:

像素空间扩散不再逐块平铺:HiT把相关特征并成组,ImageNet上600轮达到1.48 FID

核心概要

像素空间扩散模型直接在像素上训练,省去预训练视觉编码器,但生成质量和训练效率长期落后于两阶段潜空间模型。HiT在主干中逐级把相关图像块特征合并为组令牌,由更深的Transformer在压缩序列上处理,再用软权重还原到原位置,并用压缩预算控制批内平均压缩比。在ImageNet 256×256上,HiT-XL/16训练600轮达到1.48 FID,优于同参数规模的JiT-H/16的1.86;达到JiT相当质量约需其40%的累计训练FLOPs。

深度剖析

像素空间生成器可以在生成训练内部自己学出视觉层级,不必依赖单独预训练的编码器来组织图像信息。 此前的像素空间Transformer在整个主干中每个图像块保留一个令牌,固定网格给等大区域分配相同令牌数,不鼓励按内容逐级汇总。 在ImageNet 256×256上,HiT-XL/16训练600轮达到1.48 FID,低于同参数规模的JiT-H/16的1.86,也低于使用外部视觉监督的PixelGen-XL/16的1.83和PixelDiT-XL/16的1.61。

模型按特征相似度把图像块合并成组,让更深的Transformer只在数量更少的组令牌上计算,再把结果摊回原位置。 分组用学习到的投影计算令牌两两亲和度,按平均连接从单个令牌开始合并亲和度足够高的组,组内成员可以空间上不相邻。 分组时用软权重对全部输入令牌加权求平均,还原时复用同一组权重;在18块HiT-B/16的消融中,把聚合限制在硬组内使FID从6.61升到10.16至10.32,硬查表还原升到7.97。

启示与展望

已展示的范围是ImageNet 256×256类条件生成和256×256文本到图像生成,后者在CC12M上预训练后再用三源混合数据微调;文中的前向FLOPs按各阶段目标组数计算,实际开销随每张图和时间步产生的组数变化。

作者把与潜空间模型的差距部分归因于主干始终每块一个令牌,这是假设而非已证实的因果;分组阈值需在固定噪声样本上按阶段顺序校准后冻结,组引导另需单独校准推理阈值。