闭式耦合想省掉预训练教师:高维下端点几乎只剩初始噪声,学生表现贴近随机配对
核心概要
少步生成通常靠预训练教师模型生成噪声与数据的配对,再用整流流训练学生。对有限数据集和高斯概率路径,经验分布的流场本可解析写出,于是有人设想直接用它的闭式耦合当教师、跳过预训练。该研究证明这条路在实用维度上走不通:闭式流把初始噪声原样带回端点,只叠加一个微弱的、与噪声几乎无关的数据漂移,因此训练效果接近随机配对;漂移占端点能量的比例随数据维度升高而下降,只有把维度压低,闭式耦合才变得更有信息量。
深度剖析
用经验分布的闭式概率流场直接构造噪声与数据的配对,训练出的少步生成学生明显不如用预训练教师配对训练的学生,只比随机配对略好。 整流流此前依赖预训练教师模型,把噪声经教师积分到数据点来获得配对,代价是要先训练教师;闭式流场则无需预训练即可解析求值。 在 CIFAR-10、CelebA 和 ImageNet-64 上,三组学生使用相同数量的配对、相同架构和优化设置,差别在配对来源,且 CIFAR-10 与 CelebA 上教师耦合学生因 FID 更早停止改善而训练步数更少;单步采样时闭式耦合学生的 FID 明显高于教师耦合学生,差距在三个数据集上一致出现。
闭式流的端点可以精确分解为积分开始时注入的噪声加上一个依赖数据点的漂移,而漂移在实验中很小。 此前的经验观察只显示闭式耦合效果差,没有说明端点里究竟保留了多少数据信息。 在三个数据集上,漂移携带的端点平方范数能量都远低于百分之几,其绝对范数在不同数据集间接近,尽管 CelebA 和 ImageNet-64 的维度是 CIFAR-10 的四倍。
漂移占端点能量的比例随数据维度升高而下降,因此维持同样的信息比例需要数据集规模随维度指数增长。 闭式耦合的失效此前被当作经验现象,没有给出与维度和数据量挂钩的定量关系。 把同一批图像逐步降采样后,漂移占比随维度降低而上升,闭式耦合学生相对随机学生的差距也随之扩大;在 CIFAR-10 上单步差距翻倍以上,在 CelebA 和 ImageNet 上也有明显上升。
启示与展望
结论建立在 CIFAR-10、CelebA 和 ImageNet-64 三个图像数据集上,使用线性高斯概率路径、经验分布闭式流场和整流流学生;降维实验通过降采样、自编码器潜空间和固定每维参数量的网络宽度三种方式复核。
闭式耦合在低分辨率下仍明显落后于预训练教师耦合,差距没有闭合;漂移界限在过渡点之前比实测漂移大约高一个量级,只刻画标度而非精确值;学习到的教师究竟如何在同一区域内选择端点,仍是未解问题。
