跳到主要内容
检索

# 二阶优化

2 篇关联报道

订阅更新
  1. arXiv

    SOAP 的质量不再配 SOAP 的开销:FOAM 把优化器状态减半,墙钟时间追平 Muon

    二阶优化器 SOAP 在 Transformer 预训练中质量占优,却要付出更高的优化器状态和更慢的单步时间,实践中常被 AdamW 或 Muon 取代。FOAM 只保留输入侧预条件因子,并用行、列统计的分解式 Adam 二阶矩替代稠密旋转二阶矩,在 124M 到 760M 参数的 GPT-2 规模预训练上验证损失与 SOAP、Muon 相当,优化器状态为 SOAP 的一半,墙钟时间达到 Muon 级别。

  2. arXiv

    Clean 用 Nyström 草图把二阶优化器内存降到线性,单张 80GB GPU 可预训练 13B 模型

    作者提出 Clean 与低精度变体 Q-Clean:用随机 Nyström 方法近似 SOAP 的左右预条件子,把优化器状态内存从随层维度二次增长降为线性,并把低秩核心之外的 Main、A、B、C 四个正交块重新整合进更新;在 C4 上预训练 LLaMA-350M 与 1.3B 时,Clean 困惑度接近 SOAP 而优化器内存小于 AdamW,Q-Clean 相比 Muon 减少超过 50% 优化器内存,Clean 达到 AdamW 最终性能的墙钟时间快 26%,并首次使 13B 模型可在单张 80GB H100 上预训练。

已读完全部报道