GPU 通信写进内核中间表示:Obaleth 在 256 卡上把全对全做到 NVSHMEM 的 1.25 倍
GPU 发起的网络通信此前只能调用 NVSHMEM、NCCL 这类手写设备库,编译器看不到传输决策,每次调用都要付预留、栅栏和完成轮询的固定开销。Obaleth 把 put、signal、wait 作为操作写进内核中间表示,与计算一起优化,再按传输后端生成专用代码。在 H100 上,它发送 8 字节消息的速率最高为 NVSHMEM 的 3.3 倍、NCCL GIN 的 4.2 倍;在 256 块 GPU 上,小消息全对全比两者快 1.25 倍和 2.3 倍,每卡设备内存只占 22 MiB。