跳到主要内容
检索

# 学习型优化器

1 篇关联报道

订阅更新
  1. arXiv

    37k参数学习型优化器0.87 GPU小时训练后零样本迁移,在BERT-Tiny上降低验证损失9.1%

    本文提出一种轻量且通用的学习型优化器,通过动态重组按不相交时间跨度平均的梯度历史来工作:预测空间被压缩为每个梯度平均一个标量系数并由多个参数共享,对更早梯度做渐进平均以降低长历史的内存开销,同时保持各段贡献可独立访问;一个37k参数网络训练0.87 GPU小时后零样本泛化到未见任务,在BERT-Tiny与GPT-Tiny上分别降低验证损失9.1%与0.4%,在Vision Transformer上相对Adam提升测试准确率3.5个百分点,在九个图模型上平均提升2.7个百分点,FLOPs开销低至0.3%。

已读完全部报道