跳到主要内容
返回时间线
researchsquare.com来源发表:

小样本训练后段不再只磨锐置信度:模型退火让网络复习旧我,AdamW三族33个配置中28个更准

核心概要

小样本训练中,网络往往在预算用完前就记住训练集,此后独热标签只让置信度更尖锐。模型退火把训练切成等长回合,每回合重新升温再余弦冷却,冷却后的状态冻结进一个按预测平均的“过去自我”记忆,学生同时从标签、记忆的软化预测和两者分歧最大处的对抗样本学习。在CIFAR-100、Tiny-ImageNet和Imagewoof上,AdamW训练的ConvNeXt、ViT与MLP-Mixer在33个配置中有28个优于交叉熵,平均高1.3个点,准确率与快照蒸馏持平,但似然、校准和鲁棒性更好。

Source-provided article image: Model Annealing: Data-Efficient Learning through Review and Consolidation
Figure 1 · researchsquare.com · 第 6 页

深度剖析

小样本图像分类的训练预算后段被改作复习与巩固,而不是继续拟合独热标签。 常规监督训练只反复“阅读”同一批标签,网络记住训练集后剩余轮次主要让置信度更尖锐,准确率提前进入平台。 在CIFAR-100、Tiny-ImageNet和Imagewoof三个基准、四类架构、5%到100%标签量下,AdamW训练的ConvNeXt、ViT和MLP-Mixer在33个配置中有28个的top-1准确率高于交叉熵训练,平均高1.3个点,ConvNeXt在CIFAR-100用10%数据时最多高4.3个点。

训练被分成等长回合,每回合学习率升回同一峰值再沿余弦降到近零,冷却后的网络状态被冻结保存。 快照蒸馏只用最近一个快照当教师,模型退火则保留所有冷却状态,按预测而非权重做几何衰减的加权平均。 记忆以温度τ的软化预测参与监督,学生目标为标签与记忆预测的混合;在CIFAR-100上把记忆换成最近快照,AdamW各族的top-1变化不超过0.18个点,但负对数似然上升。

学生还在“梦”上练习:在训练图像附近的ℓ∞球内搜索学生与记忆分歧最大的输入,由记忆给出软化标签。 此前的自蒸馏只在训练图像上匹配教师预测,梦把监督扩展到训练集之外、且专门选在当前知识与旧知识冲突处。 去掉梦后,四类架构在PGD攻击下的准确率平均下降2.7个点、在合成损坏下下降0.53个点;在AdamW各族上,梦与记忆各自抑制了跨回合的过度自信漂移,二者合用把验证负对数似然的变化从快照蒸馏的+0.18 nats降到−0.04 nats。

启示与展望

结论建立在CIFAR-100、Tiny-ImageNet和Imagewoof三个图像分类基准上,四类架构均从头训练,标签量取5%、10%、25%和100%,Tiny-ImageNet不含全量设置;所有依赖数据的决定都在验证划分上做出,测试图像只在训练后评估一次。

ResNet-18上准确率下降1.8个点,分解显示损失来自升温重启而非重学,该网络每次重启后训练批准确率从平均98%跌到26%至45%;作者把原因指向峰值学习率与冷却后网络不匹配,并把按网络匹配回合长度与重启峰值、按验证似然给快照加权列为后续方向。