跳到主要内容
检索

# SOAP优化器

1 篇关联报道

订阅更新
  1. arXiv

    SOAP 的质量不再配 SOAP 的开销:FOAM 把优化器状态减半,墙钟时间追平 Muon

    二阶优化器 SOAP 在 Transformer 预训练中质量占优,却要付出更高的优化器状态和更慢的单步时间,实践中常被 AdamW 或 Muon 取代。FOAM 只保留输入侧预条件因子,并用行、列统计的分解式 Adam 二阶矩替代稠密旋转二阶矩,在 124M 到 760M 参数的 GPT-2 规模预训练上验证损失与 SOAP、Muon 相当,优化器状态为 SOAP 的一半,墙钟时间达到 Muon 级别。

已读完全部报道