小样本训练后段不再只磨锐置信度:模型退火让网络复习旧我,AdamW三族33个配置中28个更准
小样本训练中,网络往往在预算用完前就记住训练集,此后独热标签只让置信度更尖锐。模型退火把训练切成等长回合,每回合重新升温再余弦冷却,冷却后的状态冻结进一个按预测平均的“过去自我”记忆,学生同时从标签、记忆的软化预测和两者分歧最大处的对抗样本学习。在CIFAR-100、Tiny-ImageNet和Imagewoof上,AdamW训练的ConvNeXt、ViT与MLP-Mixer在33个配置中有28个优于交叉熵,平均高1.3个点,准确率与快照蒸馏持平,但似然、校准和鲁棒性更好。