跳到主要内容
返回时间线
arXiv来源发表:

GPU 通信写进内核中间表示:Obaleth 在 256 卡上把全对全做到 NVSHMEM 的 1.25 倍

核心概要

GPU 发起的网络通信此前只能调用 NVSHMEM、NCCL 这类手写设备库,编译器看不到传输决策,每次调用都要付预留、栅栏和完成轮询的固定开销。Obaleth 把 put、signal、wait 作为操作写进内核中间表示,与计算一起优化,再按传输后端生成专用代码。在 H100 上,它发送 8 字节消息的速率最高为 NVSHMEM 的 3.3 倍、NCCL GIN 的 4.2 倍;在 256 块 GPU 上,小消息全对全比两者快 1.25 倍和 2.3 倍,每卡设备内存只占 22 MiB。

Source-provided article image: Compiling Specialized GPU-Initiated Networking
arXiv

深度剖析

GPU 之间的通信从通用库调用变成内核中间表示里可被编译器改写的操作,编译器因此能按工作负载和网络拓扑裁剪传输代码。 此前 NVSHMEM、NCCL GIN 等库的设备函数要兼容任意调用者、线程几何和传输方式,常靠运行时分支,并用原子操作预留队列槽、保守地排序内存和跟踪完成。 在 H100 上,Obaleth 的 Tier-2 内核在 64 个线程块上以 243 M msg/s 发送 8 字节消息,是 NVSHMEM 的 3.3 倍、NCCL GIN 的 4.2 倍,因为它每个窗口只敲一次门铃,而两个库每次 put 都敲一次。

编译器把一次通信拆成提交、发布和完成三段来规划,让多条独立的消息链共用一次队列预留、一次门铃和至多一个完成项。 库只在调用者显式要求时才聚合请求,而且每个带信号的 put 仍把自己的排序点放在自己的载荷之后。 在每轮 16 条链的流上,合并提交把 GPU 的发射时间从 41.5 微秒降到 3.5 微秒,发布重排再把整轮时间从 39.8 微秒降到 4.3 微秒;在 vLLM 中用 16 块 B200 服务 Qwen3-235B,回答请求比 DeepEP 快 1.15–1.29 倍。

启示与展望

演示范围是 H100 与 B200 上的点对点、全对全和 vLLM 中的 MoE 专家并行,以及 MI355X 上的初步结果;作者明确把完整的 AMD 和 EFA 评估留作后续工作。

在每对端 64 KiB 以上时交换受网卡带宽限制,设备 API 之间的差距从每对端 1 MiB 起收敛到 4% 以内;在 Qwen3-235B 上,首 token 时间分布的尾部比 DeepEP 差 1.4–2.0 倍,且每 rank 64 个 token 以上时 DeepEP 的调度内核更快,最多 1.7 倍。