GPU 内部也能切流水线:SubGPU 把 36 层解码迭代缩短 10.33%,DRAM 吞吐升到峰值 83.6%
大模型解码由大量短小、以访存为主的算子组成,单个算子常在占满全部流式多处理器(SM)之前就撞上显存带宽上限,而张量并行、数据并行、专家并行、上下文并行和流水线并行只在 GPU 之间分配工作,不处理单卡内部的这种低效。SubGPU Pipelining 把一层或一个重复计算图的算子序列切成有序的连续段,每段绑定一组互不重叠的 SM,再让微批次依次流过这些段。在 GPT-OSS 120B、32 卡 B200 部署设定下,用一块 B200 模拟单卡负载的硬件实验中,两阶段流水线把 36 层解码迭代时间从 14.970 ms 降到 13.424 ms,平均 DRAM 读写吞吐从峰值的 71.8% 升到 83.6%。