EUROPA 在 JUPITER 上把 1T 级 MoE 训练吞吐从 90 提到约 1300 tokens/s/GPU
核心概要
EUROPA 联合体在共享的欧洲公共超算 JUPITER 上完成了约 951.9B 总参数、每 token 激活 32.8B 的 MoE 预训练配置,单 GPU 吞吐从 90 提升到约 1,300 tokens/s。此前这类规模的训练通常依赖开发者自建或独占租用的集群,而 JUPITER 的节点间 InfiniBand 带宽远低于 GPU 与自身 CPU 之间的链路。团队基于 PyTorch 与 TorchTitan 做细粒度优化,在每数据并行副本 384 块 GH200 上取得该吞吐,并把多项改动回馈上游。
深度剖析
约 1 万亿参数规模的 MoE 预训练现在可以在共享的公共研究基础设施上跑起来,而不必依赖开发者自建或独占租用的集群。 JUPITER 由数百个项目共享,其节点间 InfiniBand 比 GPU 到自身 CPU 的链路慢 36 倍,而把 1T 参数模型分散到数百块加速器上训练必须持续跨越这条边界。 在每数据并行副本 384 块 NVIDIA GH200(96 个节点)上,单 GPU 吞吐从 90 提升到约 1,300 tokens/s;最终配置为 4 个数据并行副本、共 1536 块 GPU。
吞吐的提升来自三处针对该机器约束的改动:让 Muon 优化器几乎不产生通信、把激活检查点搬到 Grace CPU、以及把 FSDP 的 all-gather 放到计算流上。 Muon 对每个权重矩阵做整体正交化,而 FSDP 把矩阵切成 384 份,简单实现需要把矩阵聚到一个 rank 上算完再散回,在这套互连上通信代价过高。 FlexShard 按整个专家分片,使每个 rank 持有完整专家矩阵并在本地完成 Newton-Schulz;把 Newton-Schulz 移到 GPU 后优化器步从 41.7 s 降到 2.2 s,吞吐从 441 升到 597 tokens/s/GPU。
激活检查点卸载把层边界激活放到 Grace 内存,使 65,536 token 的序列长度得以装进显存。 在 65,536 token 下,仅 74 层的边界激活就约占每 GPU 55 GiB,无法与权重一起放进 HBM。 每个边界激活在前向产生后复制到 Grace,并在反向重算前一层的时刻复制回 Hopper;开启卸载后吞吐从 370 升到 508 tokens/s/GPU,序列长度先增至 49,152,再随 Muon 增至 65,536。
把 FSDP 的 all-gather 设置放到计算流上,消除了显存分配器在侧流上无法回收的缓存,使重试分配的 rank 数从 384 降到零。 分配器按流维护独立内存池,侧流上被缓存却无法被计算流复用的显存一度达 20.9 GiB,计算流因此找不到 4 GiB 的 MoE 缓冲区。 峰值预留显存从 88.1 GiB 降到 74.6 GiB,吞吐从 996 升到 1,210 tokens/s/GPU;该开关正被移入公开的 FSDP API(PyTorch #202343)。
启示与展望
报道的范围是 EUROPA 联合体在 JUPITER 上把约 951.9B 总参数 MoE 的预训练配置扩展到每数据并行副本 384 块 GH200、共 4 个副本 1536 块 GPU,并达到约 1,300 tokens/s/GPU 的持续吞吐;关心公共超算上大模型训练可行性的工程师是主要读者。
吞吐数字绑定在 JUPITER 的 GH200 节点与 InfiniBand 配置上,节点实际可用主机内存还会因内核占用而低于 108 GiB;数据与专家负载均衡、减少 InfiniBand 传输字节、节点内重分片等其余路径放在配套文章中,未在此展开。
