跳到主要内容
返回时间线
arXiv来源发表:

流模型不再手选预测目标:AnisoFlow在ImageNet像素空间把FID从1.86降到1.55

核心概要

流匹配生成模型通常要人工选定预测目标——速度、噪声或干净数据,这一选择会明显影响训练与采样质量。AnisoFlow把速度目标中的噪声分量改为可学习:在一个与网络联合学习的正交基里,为每个方向单独赋予非负权重,再用闭式映射精确还原速度,网络结构、流匹配损失和采样器都不变。在ImageNet像素空间,仅学习预测目标就把JiT-H/16基线的FID从1.86降到1.55,且未使用表征对齐;在潜空间模型上则与默认目标表现相当。

Source-provided article image: Learning Anisotropic Prediction Targets for Flow Models
arXiv

深度剖析

生成模型训练时预测什么,从人工设定变成可学习:AnisoFlow保留速度目标里的干净数据分量,只把噪声分量按方向重新加权,每个方向一个非负权重。 此前速度预测在每个方向给噪声同等权重,干净数据预测则完全去掉噪声分量,两者都是预先固定的选择。 在ImageNet像素空间,仅改变预测目标就让JiT-H/16的FID从1.86降到1.55,且没有使用表征对齐或改动网络结构。

权重和基一起训练,速度仍能精确还原,因此训练只是在让目标更容易被网络预测。 还原公式按基的每个方向逐坐标计算,分母为正保证可逆,误差放大程度由权重直接控制。 在JiT-H/16上,冻结PCA基并学习连续方向权重得到FID 2.25,优于冻结二值掩码的AsymFlow的2.34和干净数据预测的2.68(160轮)。

学到的权重随数据方差近似线性增长,与理论分析给出的方向一致。 分析在PCA基下把网络误差拆成噪声估计误差与数据估计误差,预测每个方向偏好的权重近似正比于该方向的数据方差。 像素空间模型在不同初始化与基优化路径下,学到的方向权重都随对应方向的数据方差近似线性变化,学到的基也接近PCA基。

启示与展望

已展示的范围是ImageNet类条件像素空间生成(JiT-H/16与JiT-B/16骨干)、基于JiT-L/16-T2I的像素空间文本到图像生成,以及SiT-XL/2-REPA和RAEv2两个潜空间模型;所有设置都保持原有结构与训练配方,只改预测目标。

分析采用局部冻结误差模型,不刻画完整训练动态,也不能确定观测到的谱标度中的常数;经验增益在像素空间最大,在潜空间较小,学到的目标接近现有默认值。