跳到主要内容
返回时间线
arXiv来源发表:

GPU 内部也能切流水线:SubGPU 把 36 层解码迭代缩短 10.33%,DRAM 吞吐升到峰值 83.6%

核心概要

大模型解码由大量短小、以访存为主的算子组成,单个算子常在占满全部流式多处理器(SM)之前就撞上显存带宽上限,而张量并行、数据并行、专家并行、上下文并行和流水线并行只在 GPU 之间分配工作,不处理单卡内部的这种低效。SubGPU Pipelining 把一层或一个重复计算图的算子序列切成有序的连续段,每段绑定一组互不重叠的 SM,再让微批次依次流过这些段。在 GPT-OSS 120B、32 卡 B200 部署设定下,用一块 B200 模拟单卡负载的硬件实验中,两阶段流水线把 36 层解码迭代时间从 14.970 ms 降到 13.424 ms,平均 DRAM 读写吞吐从峰值的 71.8% 升到 83.6%。

Source-provided article image: SubGPU Pipelining: Intra-GPU Fine-Grained Spatial Parallelism for LLM Inference
arXiv

深度剖析

解码阶段的算子被拆成若干连续段,各段同时跑在互不重叠的 SM 池上,微批次在段之间流动,使访存受限与计算受限的算子在同一时刻并行。 此前的张量并行、数据并行、专家并行、上下文并行和流水线并行都在多块 GPU 之间扩展推理,并不直接处理单卡内部的内核启动开销、计算闲置和突发带宽需求。 在 GPT-OSS 120B、输入与 KV 历史长度均为 32,768、32 卡 B200 的 TP8/DP4 注意力与 EP32 专家部署设定下,共享资源模拟器搜索流水线结构与批大小,得到的帕累托前沿在相同每卡吞吐下给出更高的每用户吞吐,在相同每用户吞吐下给出更高的每卡吞吐。

实现上,一个两阶段设计把完整注意力的 FMHA 放进 68 个 SM 的 Green Context,把两层宏周期内其余算子放进 80 个 SM 的 Green Context,每个上下文各带两条流,两个等大微批次在其中流动。 Green Context 是 CUDA 提供的 SM 分区机制,同一上下文内的流被绑定到一个 SM 子集;原型用 CUDA 事件和 CUDA Graphs 维持生产者与消费者以及同流依赖,不改动现有 TensorRT-LLM 内核。 在一块 B200 上模拟 32 卡部署的单卡负载、全局解码批 2,048、TensorRT-LLM 1.3.0rc22.post1 内核的条件下,20 次预热后三轮各 100 次无插桩 CUDA Graph 重放给出上述迭代时间与 DRAM 吞吐变化,平均活跃 SM 吞吐则从 85.9% 降到 71.7%。

启示与展望

已演示的范围是 GPT-OSS 120B 解码、输入序列长度 32,768、KV 历史 32,768、32 卡 B200 部署设定下的模拟搜索,以及在一块 B200 上以全局批 2,048 模拟单卡负载、用 TensorRT-LLM 内核和 CUDA Green Contexts 实现的一个两阶段流水线配置。

模拟结果被作者描述为建模机会而非形式上界,其可信度取决于资源分享、缓存初始化、准入与驱逐、通信和算子缩放等策略,外推到端到端部署前需要对这些假设做敏感性分析和与实测内核的校准。硬件实验只覆盖一个选定配置,作者把整体结果视为可行性证明,并指出切点、分配和内核仍有优化空间。