跳到主要内容
返回时间线
arXiv来源发表:

GRN生成图像从50步压到2步:FastGRN在ImageNet上追平教师FID,单图快12.7倍

核心概要

离散token图像生成器GRN每张图要跑50步细化,步数一减样本就崩。FastGRN把GRN自身的均匀状态腐蚀当作离散扩散核,用两个后验网络直接算出逐token的反向KL梯度,再配合窗口匹配、过采样与非均匀采样,让2步学生模型在ImageNet上追平79次网络调用的教师FID,单图快12.7倍。

Source-provided article image: FastGRN: Few-Step Generative Refinement Networks
arXiv

深度剖析

离散token生成器GRN的采样步数可以从50步压到2步,而图像质量不塌。 GRN靠50步细化加无分类器引导达到高保真,每张图79次网络调用;直接砍到50步中的4步,ImageNet样本就会崩坏,后续步骤补不回来。 在ImageNet上,2步FastGRN-B的FID-50k为3.73,与教师持平,网络调用从79次降到2次;3步版本降到3.42,低于教师。

少步失败源于token之间的联合误差,而不是单token预测不准。 GRN的输出头是因子化的,逐token交叉熵训练最多只能学到后验边缘的乘积,剩下的误差是给定当前状态时token的条件总相关。 把GRN的均匀状态腐蚀看作离散扩散核后,逐token的反向KL梯度可由真实与虚假两个后验网络的具体得分直接给出,无需策略梯度、直通估计器或判别器。

训练分三块:窗口加随机步数、过采样配非均匀采样、细化置信保留。 不加窗口时,2步匹配先正常后塌成空白图;固定步数的学生只会专精一个预算,步数一变就漂移。 窗口把匹配限制在中等噪声段后训练稳定;随机步数让一个学生覆盖4到8步而质量平坦;过采样用学生自己的多余步数微调评判器,非均匀采样把2步学生的第二步负担提到路径的75%。

启示与展望

演示范围是ImageNet类条件生成上的GRN-B(130M)与GRN-L(458M),以及公开的GRN-T2I 2B检查点的文本到图像;文本到图像的学生只用窗口匹配,未叠加其余部件。作者提出的下一步是把同样的部件用到比特级文本到图像与视频模型。

文本到图像上2步学生保留教师GenEval的97%,4步为0.689对教师的0.695,仍未完全追平;非均匀采样在GRN-B上把2步FID-50k从3.83降到3.73,幅度小于GRN-L。置信保留在2步草案上判别力有限,AUC仅0.54,需在训练中一并使用才见效。