跳到主要内容
检索

# Polyak步长

1 篇关联报道

订阅更新
  1. arXiv

    余弦学习率不再整段照搬:每批多一次前向,Cifar10上损失降得更快也更单调

    训练Resnet时,余弦学习率调度可以按每个小批量微调,而不必整段沿用固定曲线。两种做法都靠一次额外前向传播估计小批量损失的局部二次信息,再据此小幅上调或下调当前学习率。在Cifar10上,这样训练使损失下降快于被扰动的原调度、曲线更单调,测试精度有小幅提升;在Cifar100上测试精度保持不变。

已读完全部报道