跳到主要内容
检索

# 归一化Transformer(nGPT)

1 篇关联报道

订阅更新
  1. arXiv

    nGPT 训练配方让 30B 混合 Mamba-2–Transformer MoE 模型用约一半 token 达到相同验证损失

    本文提出一套面向归一化 Transformer(nGPT)的实用训练配方,包含 Logit Gradient Preconditioning、对数学习率衰减、GatedAdamW、角度更新控制以及可选的探索机制,并在现代混合 Mamba-2–Transformer 专家混合(MoE)模型上评估;与采用 AdamW 训练的、相同混合 MoE 架构的未归一化模型相比,总参数 30B 的 nGPT 模型用大约一半的训练 token 即达到相同的验证损失,且该配方在所考察的、总参数最高达 30B 的模型上均可扩展。

已读完全部报道