跳到主要内容
检索

# vLLM推理服务引擎

2 篇关联报道

订阅更新
  1. vLLM Blog

    vLLM 把解码层压成少数几次内核启动:单用户交互性最高提升到 2.26 倍

    AMD 为 vLLM 引入用 FlyDSL 编写的 MonoKernel,把解码层中原本逐个启动的多个算子合并成少数几次持久化内核启动,让线程块跨阶段复用、提前读取权重并通过带标签的信箱传递就绪数据。在 MI355X 上,DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi-K3 与 Muse Spark 的并发 1 交互性或每输出词元时间改善 1.20 倍到 2.26 倍,MI325X 上另合入了 DeepSeek-V4.1-Flash,收益在低并发时最大。该路径默认关闭,需加 --monokernel 开启,且只支持特定模型、张量并行规模和步宽。

  2. vLLM Blog

    vLLM把多模态编码拆成独立实例:DeepSeek V4.1 Flash上每GPU吞吐提高6.6–9.5%

    vLLM 为多模态推理引入编码器、预填充、解码三段分离部署(EPD),让图像、视频、音频的编码容量可以独立于语言模型扩容。新版本加入只传元数据的请求转发、编码器专用执行路径、远程嵌入传输与跨编码器缓存复用。在 DeepSeek V4.1 Flash 的文档问答测试中,并发 64–128 时计入全部 12 块 GPU 的每 GPU 吞吐比八卡 PD 基线高 6.6–9.5%,P90 首字延迟低 44–47%,但并发 16 时反而更低。

已读完全部报道