SOAP 的质量不再配 SOAP 的开销:FOAM 把优化器状态减半,墙钟时间追平 Muon
核心概要
二阶优化器 SOAP 在 Transformer 预训练中质量占优,却要付出更高的优化器状态和更慢的单步时间,实践中常被 AdamW 或 Muon 取代。FOAM 只保留输入侧预条件因子,并用行、列统计的分解式 Adam 二阶矩替代稠密旋转二阶矩,在 124M 到 760M 参数的 GPT-2 规模预训练上验证损失与 SOAP、Muon 相当,优化器状态为 SOAP 的一半,墙钟时间达到 Muon 级别。
深度剖析
FOAM 把 SOAP 的两侧预条件削减为只保留输入侧,并把旋转空间里的稠密二阶矩换成由行、列均值构成的外积估计,使优化器状态降到 SOAP 的一半。 SOAP 此前需要保存一阶矩、旋转空间二阶矩以及两个 Kronecker 因子和两个特征基,并周期性做两次特征分解,因此尽管质量更好,实践中仍常被 AdamW 或 Muon 取代。 在 124M、350M、760M 三个 GPT-2 规模上,FOAM 的验证损失分别落后 SOAP 约一个种子标准差以内,同时每个规模都只用 SOAP 一半的矩阵参数优化器状态。
输入侧预条件之所以够用,是因为 Transformer 层 Hessian 沿输出方向接近块对角,输出侧曲率主要由对角线承担。 此前 SOAP 的一侧变体按维度较小的一侧取舍,而 FOAM 不论尺寸都保留输入侧,两者在 MLP 下投影上会选到相反的一侧。 在 GPT-2 small 的逐层 Gauss-Newton 矩阵上,去掉输出侧旋转只损失约四分之一的曲率对齐,而去掉输入侧旋转损失约四分之三;在 124M 与 350M 的六类模块上输入侧都优于输出侧。
分解式二阶矩在输入侧特征基里几乎不损失信息,因为旋转后的二阶矩接近秩一可分离。 在 Adam 的原始坐标里直接做 Adafactor 式行列分解并不准确,旋转后的二阶矩才具备可分离结构。 在 K-FAC 假设下该估计精确恢复 SOAP 的稠密二阶矩;实测 K-FAC 违背约 15–20%,主要出现在 key 投影,对更新的影响可以忽略。
启示与展望
实验覆盖 GPT-2 架构下 124M、350M、760M 三个规模的 FineWeb 预训练,并在 1.56B 的 GPT-2 XL、Tiny-ImageNet 上的 ViT-Tiny 以及 Qwen3 的监督微调与在线策略蒸馏中做了补充测试;只有注意力与 MLP 的矩阵参数使用被比较的优化器,嵌入、lm-head 与一维参数固定走 AdamW。
实验止于 GPT-2 规模、最大 1.56B 参数,FOAM 的优势能否在前沿规模预训练中保持仍是主要未决问题;当前实现尚未把因子与特征基跨设备分片;分解式更新在梯度经过 RoPE 与 softmax 的 key 投影上最不准确。
