训练不必跑完再比:SOTF按检查点预判终局,异构模型库保留差距从0.0643降到0.0017
核心概要
训练一组候选网络时,中途的准确率排名未必等于最终排名,学习曲线还会交叉。SOTF训练用检查点权重统计与SANE潜表示预测各候选的最终或五轮后准确率,据此提前停掉排名靠后的训练。在ResNet-18与ViT等性能分布较宽的模型库上,按预测最终准确率淘汰把最佳保留模型的平均差距从0.0643降到0.0017,并把oracle top-5召回从0.11提到0.72;在CNN模型库上按当前准确率淘汰本已接近最优。
深度剖析
训练候选模型群时,可以在训练尚未结束时给每个候选打一个未来准确率的预判分,并按这个分数决定谁继续训练、谁提前停止。 此前的自适应资源分配方法主要按当前观测准确率或学习曲线外推来排序候选,而学习曲线会交叉,当前领先的模型未必最终领先。 在九个图像分类模型库上,Tiny ImageNet ResNet-18库与最终排名的Kendall τ在训练中先下降、到训练末段才接近1,说明中途排名与最终排名并不一致。
预判分数由检查点的权重统计和SANE潜表示给出,并与已观测的准确率、损失历史组合使用。 权重统计是参数分布的均值、方差、分位数和范围等汇总量;SANE是把检查点编码成潜令牌序列的Transformer自编码器,二者此前主要用于判断单个检查点的当前属性。 五轮预判中,最佳权重统计预测器在九个模型库上全部优于LCNet;最终准确率预判中,最佳SANE预测器在九个库中的六个上RMSE低于最佳权重统计预测器,且没有哪个表示族在每个库上都占优。
按预判分数淘汰后,异构模型库中保留下来的最佳模型明显更接近全体候选中的最优模型。 按当前准确率淘汰在ResNet-18与ViT库上平均损失0.0643个百分点的最终准确率,只保留oracle top-5的0.11。 在ResNet-18与ViT库的最终值选择中,仅用性能特征的XGBoost把差距降到0.0051,加入权重统计后降到0.0017,oracle top-5召回从0.11升到0.72;44组配对配置的bootstrap给出了这一步额外降幅的95%置信区间。
启示与展望
评估覆盖九个图像分类模型库,包括CIFAR-10、STL-10与Tiny ImageNet上的CNN、宽度变化的ResNet-18和ViT群体,训练轮次为50到300;淘汰实验在已记录完成的轨迹上回溯进行,预测器先在训练集上拟合一次,再固定用于留出群体。
节省以训练轮次为代理,未计入构造权重统计以及训练和应用SANE编码器的开销;SANE主干按模型库分别训练,实验展示的是库专用表示而非可复用编码器;在宽度或超参数变化的库中,权重统计可能部分编码了配置本身;实验未在多个随机种子上重复,无法量化初始化、数据顺序或预测器训练带来的波动。
