跳到主要内容
检索

# 专家并行

3 篇关联报道

订阅更新
  1. arXiv

    GPU 通信写进内核中间表示:Obaleth 在 256 卡上把全对全做到 NVSHMEM 的 1.25 倍

    GPU 发起的网络通信此前只能调用 NVSHMEM、NCCL 这类手写设备库,编译器看不到传输决策,每次调用都要付预留、栅栏和完成轮询的固定开销。Obaleth 把 put、signal、wait 作为操作写进内核中间表示,与计算一起优化,再按传输后端生成专用代码。在 H100 上,它发送 8 字节消息的速率最高为 NVSHMEM 的 3.3 倍、NCCL GIN 的 4.2 倍;在 256 块 GPU 上,小消息全对全比两者快 1.25 倍和 2.3 倍,每卡设备内存只占 22 MiB。

  2. arXiv

    MoE 服务每步重分专家副本:Relief 用整数松弛逼近每步最优,片上引擎把有效利用率提到 99.5%

    专家并行 MoE 服务中,每层都要等负载最重的 GPU 收工,而路由每个解码步都在变。Relief 不再求解每步的线性规划,改用整数双向成对松弛,在副本边上反复折半搬运负载,几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上,按相对每步最优的有效利用率计,部署的静态方案为 66% 到 72%,GPU 内核升到 93%,片上引擎升到 99.5%,最大一处比静态放置多回收 37.3 个百分点。

  3. NVIDIA Technical Blog

    英伟达把智能体推理的内存账算到每个字节:Vera Rubin NVL72 每兆瓦吞吐最高达 GB300 NVL72 的 30 倍

    英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”,用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上,每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下,每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。

已读完全部报道