闭式耦合想省掉预训练教师:高维下端点几乎只剩初始噪声,学生表现贴近随机配对
少步生成通常靠预训练教师模型生成噪声与数据的配对,再用整流流训练学生。对有限数据集和高斯概率路径,经验分布的流场本可解析写出,于是有人设想直接用它的闭式耦合当教师、跳过预训练。该研究证明这条路在实用维度上走不通:闭式流把初始噪声原样带回端点,只叠加一个微弱的、与噪声几乎无关的数据漂移,因此训练效果接近随机配对;漂移占端点能量的比例随数据维度升高而下降,只有把维度压低,闭式耦合才变得更有信息量。
少步生成通常靠预训练教师模型生成噪声与数据的配对,再用整流流训练学生。对有限数据集和高斯概率路径,经验分布的流场本可解析写出,于是有人设想直接用它的闭式耦合当教师、跳过预训练。该研究证明这条路在实用维度上走不通:闭式流把初始噪声原样带回端点,只叠加一个微弱的、与噪声几乎无关的数据漂移,因此训练效果接近随机配对;漂移占端点能量的比例随数据维度升高而下降,只有把维度压低,闭式耦合才变得更有信息量。
已读完全部报道