同一套核流既做分类又做密度估计:二阶求解器17次迭代收敛,控制点把粒子成本降到线性
核心概要
分类与基于似然的密度估计被写进同一个最优控制问题,共用一条速度场取值于再生核希尔伯特空间(RKHS)的微分同胚流,两者只差目标函数。变量投影消去末端模型后,约化梯度由解析离散伴随给出,核参数化让流的散度以一次核矩阵–向量乘精确算出,目标与梯度都是确定性的,因此约化高斯–牛顿求解器在两类任务上都可用。在2到256维的实验中,约化高斯–牛顿求解器所用迭代次数少于所测其他优化器,控制点约化把每次求解的粒子数成本从二次降为线性且精度接近无损。
深度剖析
分类和基于似然的密度估计现在可以共用一条可逆的平滑变换流,两个任务只在末端目标上不同,其余动力学、控制代价和伴随计算完全一致。 此前的微分同胚学习只把监督学习写成RKHS流上的控制问题,并用一阶方法同时优化流控制和末端分类器;密度估计则另走连续归一化流路线。 在2到256维的实验中,约化高斯–牛顿方案与联合L-BFGS都达到同一参考水平,前者用17到21次迭代、后者用58次,且前者在5/5个种子上达标、后者为4/5。
末端模型被变量投影消去后,外层只需在控制量上迭代,约化梯度由流的离散伴随精确给出,不必对内部求解过程求导。 以往变量投影多用于消去神经网络的最后一层线性层,其约化梯度靠对网络反向传播得到。 在three rings实例上,GN-CG与TR-GN分别用17和21次外层迭代把约化梯度相对范数降低约两个数量级,一阶变体需要约35到51次且只降低一个多数量级。
速度场取在RKHS里,使流的散度有闭式表达,只需一次核矩阵–向量乘,密度估计的目标因此是确定性的。 现有连续归一化流要么用Hutchinson随机迹估计引入方差,要么限制为势流才能得到线性代价的精确散度。 在随机粒子配置上,闭式散度与自动微分求得的迹在float64下吻合到机器精度,最大绝对偏差低于阈值,且随维度增长的开销远小于自动微分迹。
用控制点代替全部数据粒子展开速度场,把每次前向与伴随求解的成本从粒子数的二次降为线性,精度接近无损。 全模型每次求解都要通过稠密核矩阵耦合所有粒子,成本随粒子数二次增长。 在五个合成基准上,控制点取数据量的3%到16%即可在四个问题上完全复现全模型精度,three rings上稳定在99.2%(全模型为100%);在VAE潜空间MNIST分类上,用10%的控制点与全模型测试精度相差不超过0.56个百分点。
启示与展望
演示范围覆盖2到256维的合成分类基准、Pendigits与MNIST分类、四个二维合成密度目标以及四维VAE潜空间上的MNIST密度估计;真实数据的高维问题通过潜空间嵌入处理,而不是在原始特征空间直接运行。
控制点如何按目标精度放置与自适应仍是开放问题,约化在很大规模、高维数据上能走多远也未确定;核方法在高维会退化,大规模高维生成建模仍属开放。生成任务中GMM参考在低维目标上主要降低往返重构误差而非改善似然,在真实数据上才同时降低测试负对数似然。
