Zero-SM NCCL 让 GPU 通信不再占用 SM:AllGather 带宽达到传统内核的 1.36 倍,重叠 GEMM 减速从 33% 降到 4%
Zero-SM NCCL 把 GPU 集合通信的数据搬运与同步都移出流多处理器(SM),在 GB200 NVL72 与 B200 NVL8 上以 CUDA 流内存操作、拷贝引擎和 CPU 代理驱动 RDMA 完成 AllGather、AlltoAll 及单边 Put/Wait。其 AllGather 带宽最高达到 NCCL 传统 SM 内核的 1.36 倍,重叠 GEMM 的中位减速由 33% 降至 4%,代价是单次操作延迟更高。在 Megatron-LM 中,它让 FSDP 最高加速 3.5%、流水并行最高加速 15%,但小消息与主机受限负载上并不占优。