跳到主要内容
返回时间线
vLLM Blog来源发表:

vLLM 把解码层压成少数几次内核启动:单用户交互性最高提升到 2.26 倍

核心概要

AMD 为 vLLM 引入用 FlyDSL 编写的 MonoKernel,把解码层中原本逐个启动的多个算子合并成少数几次持久化内核启动,让线程块跨阶段复用、提前读取权重并通过带标签的信箱传递就绪数据。在 MI355X 上,DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 与 Muse Spark 的并发 1 交互性或每输出词元时间改善 1.20 倍到 2.26 倍,MI325X 上另合入了 DeepSeek-V4.1-Flash,收益在低并发时最大。该路径默认关闭,需加 --monokernel 开启,且只支持特定模型、张量并行规模和步宽。

Source-provided article image: Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM
vLLM

深度剖析

交互式 LLM 服务中,解码步骤原本要依次启动投影、注意力、专家计算等一串 GPU 内核,小批量下每个内核工作量很小,却仍要付出调度、启动和完成的开销,依赖内核还必须等前一个整体结束才能开始。MonoKernel 把这些相互依赖的算子阶段放进同一次内核启动,用作者设计的调度替代每个算子边界一次启动,从而缩短算子之间的等待。 此前的做法是每个算子边界单独启动一次内核;HIP 图能降低 CPU 端启动开销,但不消除这些 GPU 侧开销。 MI300X/MI325X 移植把 DeepSeek-V4.1-Flash 的标准解码层从 32 个内核、320 微秒变为 2 个内核、115 微秒;在 8 块 MI350X 上以 TP8 运行的 GLM-5.2,其图模式解码步骤从约 2459 个内核降到约 210 个。

实现方式是持久化启动:固定的一组 GPU 线程块依次处理多个阶段,完成当前工作后直接接手下一阶段已就绪的工作,不必另起一次内核。 线程块在阶段之间复用,输出投影或专家上/门权重可以在前序计算进行时预取,中间结果通过带标签的信箱交给下游,下游只需等到自己所需的输入就绪。 在 MI355X 的 TP2 节点上,DeepSeek-V4.1-Flash 的 30 个标准层以 K1 加 K2 运行,并发 1 的 P90 交互性从 318.1 提升到 429.1 tok/s/user;同一 PR 为另外 10 层加入的 FFN 启动再带来 1.02 到 1.19 倍提升。

MonoKernel 的边界按模型定制,而不是统一的一层一内核模板,因为融合更多阶段并不自动更好,边界要匹配模型的数据依赖、通信模式和 GPU 资源限制。 DeepSeek-V4.1-Flash 把标准解码层路径分成 K1 与 K2,MiniMax-M3 只融合 FFN 部分并让注意力留在原有路径上。 MiniMax-M3 在 MI355X、TP4、随机 1k/1k 提示下,并发 1 的 TPOT 从 5.12 毫秒降到 4.27 毫秒;Kimi-K3 在 TP8、并发 1、7 个推测词元、8k 输入下,P50 TPOT 从 5.47 毫秒降到 3.44 毫秒。

启示与展望

演示范围是 AMD Instinct MI355X、MI350X 与 MI325X 上的特定模型与张量并行配置,收益在并发 1 时最大、随并发升高而减小;步宽受推测词元和图填充限制,DeepSeek-V4.1-Flash 在 MI355X 上最多 48 行、在 MI325X 上 42 行,MiniMax-M3 与 Kimi-K3 为 16 行,更宽的步走原有路径。

TP8 配置下 DSpark 推测解码的步时测量使用合成的 3.87 接受长度以隔离步时,该配置的准确率仍在评估;DeepSeek-V4-Pro 的基线是旧软件栈上的历史 InferenceX 运行,因此其数字同时包含软件栈变化;MI300X/MI325X 上内核需保留自己的权重副本,DeepSeek-V4.1-Flash 在 TP4 下每卡 170 GiB 而非 99 GiB。