nGPT 训练配方让 30B 混合 Mamba-2–Transformer MoE 模型用约一半 token 达到相同验证损失
本文提出一套面向归一化 Transformer(nGPT)的实用训练配方,包含 Logit Gradient Preconditioning、对数学习率衰减、GatedAdamW、角度更新控制以及可选的探索机制,并在现代混合 Mamba-2–Transformer 专家混合(MoE)模型上评估;与采用 AdamW 训练的、相同混合 MoE 架构的未归一化模型相比,总参数 30B 的 nGPT 模型用大约一半的训练 token 即达到相同的验证损失,且该配方在所考察的、总参数最高达 30B 的模型上均可扩展。