跳到主要内容
返回时间线
arXiv来源发表:

Zero-SM NCCL 让 GPU 通信不再占用 SM:AllGather 带宽达到传统内核的 1.36 倍,重叠 GEMM 减速从 33% 降到 4%

核心概要

Zero-SM NCCL 把 GPU 集合通信的数据搬运与同步都移出流多处理器(SM),在 GB200 NVL72 与 B200 NVL8 上以 CUDA 流内存操作、拷贝引擎和 CPU 代理驱动 RDMA 完成 AllGather、AlltoAll 及单边 Put/Wait。其 AllGather 带宽最高达到 NCCL 传统 SM 内核的 1.36 倍,重叠 GEMM 的中位减速由 33% 降至 4%,代价是单次操作延迟更高。在 Megatron-LM 中,它让 FSDP 最高加速 3.5%、流水并行最高加速 15%,但小消息与主机受限负载上并不占优。

Source-provided article image: Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication
arXiv

深度剖析

GPU 集合通信可以完全不启动 SM 内核,同时覆盖节点内 NVLink 域与跨节点网络两条路径,并同时提供集合操作与单边原语。 此前 NCCL 的对称内核仍用少量 CTA 搬运数据、做归约并轮询标志,NCCLX 把批量数据交给专用硬件却保留 SM 内核维持流序,VCCL 的无 SM 模式只覆盖点对点传输。 在 GB200 NVL72 与 B200 NVL8 上,Zero-SM 的 AllGather 在 4 GiB 时达到 714–746 GB/s,对比对称内核的 537–678 GB/s 与传统内核的 613–698 GB/s;跨节点 4 GiB 时达到 503 和 436 GB/s,接近 517 和 450 GB/s 的网卡上限。

通信不再抢用 SM 后,与它重叠的矩阵乘几乎不再被拖慢。 在一个 B200 节点上,144 MiB 的 AllGather 与 GEMM 链重叠时,传统 ring 内核使 GEMM 中位减速约 33%,对称内核在默认 4 个 CTA 下为 6.2%、强制 32 个 CTA 下为 24.0%。 同一重叠基准中,拷贝引擎路径只带来 3.9% 的中位减速;换成 26 MiB 的 Llama AllGather 时,拷贝引擎对任何 GEMM 的减速不超过 0.2%,传统内核的中位减速为 9.9%。

把通信移出 SM 的收益要落到端到端训练,取决于负载形态而非单纯的微基准带宽。 在 Megatron-LM 的 12 个 FSDP 与 7 个 PP 配方上,相对传统 ring,拷贝引擎路径在 GPU 受限的稠密配方上最高加速 3.5%(GB200)和 1.9%(B200);单边 put 让每个深流水线都变快,最高 14.9%。 相对只用少量 CTA 的对称内核,结果好坏参半:仅在 GB200 的 Llama-70B-G 上明显胜出,在主机受限配方和 Qwen3-235B-G 上落后;浅流水线或高度交织的流水线没有收益甚至变慢。

启示与展望

演示范围限于 GB200 NVL72 与 B200 NVL8 两套系统上的 AllGather、AlltoAll、Gather、Scatter 等纯数据搬运集合操作,以及 ncclPutSignal 与 ncclWaitSignal 两个单边接口;需要算术的 AllReduce、ReduceScatter 尚未以无 SM 模式支持。评估覆盖 nccl-tests 微基准、单节点 GEMM 重叠基准,以及 Megatron-LM 中 12 个 FSDP 和 7 个 PP 配方,模型规模 15B 到 405B、使用 32 或 64 块 GPU。作者提出流水线 rail 调度与调优器将随未来 NCCL 版本发布。

作者明确说明无 SM 通信并非普遍占优:它在 GPU 受限负载的大传输和气泡较大的深流水线上有收益,但在小消息和主机受限负载上会落后。节点内每次操作都从主机发起并经流内存操作同步,因此小消息延迟高于 SM 内核,CUDA 图捕获因需要可重放的标志协议而开销更高;跨节点同步依赖一个 CPU 线程,GPU 上拷贝引擎的数量也可能限制高扇出的并发传输。成本折算不是完整部署成本模型。