余弦学习率不再整段照搬:每批多一次前向,Cifar10上损失降得更快也更单调
核心概要
训练Resnet时,余弦学习率调度可以按每个小批量微调,而不必整段沿用固定曲线。两种做法都靠一次额外前向传播估计小批量损失的局部二次信息,再据此小幅上调或下调当前学习率。在Cifar10上,这样训练使损失下降快于被扰动的原调度、曲线更单调,测试精度有小幅提升;在Cifar100上测试精度保持不变。
深度剖析
训练卷积网络时,固定的余弦学习率调度可以被逐批次的微调取代:每个小批量先估计一个更合适的学习率,再按比例轻微放大或缩小当前调度值。 此前自动步长方法多从零重建学习率,且常与动量配合时不稳定;这里保留原有调度,只做小幅扰动。 在Cifar10与Cifar100上从头训练Resnet18和Resnet34,与未扰动的余弦调度及加入lookahead的版本对比,损失下降更快、单调性提高。
两种估计都只多花一次前向传播:一种最小化小批量损失在Hessian外近似下的二次泰勒近似,另一种把softmax值线性化后最小化其与one-hot标签的平方误差。 二阶步长通常需要多次损失评估,或用梯度近似Hessian;这里用一次试探更新处的softmax值来估计所需导数。 两种推导思路不同,但在Cifar10上训练Resnet18时给出的学习率平均值彼此接近,且与折半后的Polyak步长在训练中段接近。
额外开销可以压缩:从每个128样本的小批量中抽取20个输入来估计步长,第二组实验关闭lookahead并启用子采样后,结果未显示性能下降。 完整估计需要一次额外前向传播,按反向传播约为前向两倍计,运行时间会相应增加。 Cifar10上最佳结果仍来自两种步长之一,但Resnet34上的精度增益看起来是随机的。
启示与展望
演示范围是Cifar10与Cifar100上从头训练的Resnet18和Resnet34,基线为无预热的标准SGD余弦衰减及与lookahead的组合,超参数在各实验中固定不变。
Cifar100上测试精度没有可靠改善,Resnet34上的精度增益看起来是随机的;训练接近结束时改进变慢,且方法本身需要额外计算。
