vLLM 把解码层压成少数几次内核启动:单用户交互性最高提升到 2.26 倍
AMD 为 vLLM 引入用 FlyDSL 编写的 MonoKernel,把解码层中原本逐个启动的多个算子合并成少数几次持久化内核启动,让线程块跨阶段复用、提前读取权重并通过带标签的信箱传递就绪数据。在 MI355X 上,DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 与 Muse Spark 的并发 1 交互性或每输出词元时间改善 1.20 倍到 2.26 倍,MI325X 上另合入了 DeepSeek-V4.1-Flash,收益在低并发时最大。该路径默认关闭,需加 --monokernel 开启,且只支持特定模型、张量并行规模和步宽。