跳到主要内容
返回时间线
vLLM Blog来源发表:

vLLM把多模态编码拆成独立实例:DeepSeek V4.1 Flash上每GPU吞吐提高6.6–9.5%

核心概要

vLLM 为多模态推理引入编码器、预填充、解码三段分离部署(EPD),让图像、视频、音频的编码容量可以独立于语言模型扩容。新版本加入只传元数据的请求转发、编码器专用执行路径、远程嵌入传输与跨编码器缓存复用。在 DeepSeek V4.1 Flash 的文档问答测试中,并发 64–128 时计入全部 12 块 GPU 的每 GPU 吞吐比八卡 PD 基线高 6.6–9.5%,P90 首字延迟低 44–47%,但并发 16 时反而更低。

Source-provided article image: Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
vLLM

深度剖析

多模态请求的编码阶段现在可以单独部署成只跑视觉或音频编码器的 vLLM 实例,与预填充、解码实例分开扩缩容。 此前编码与语言模型执行绑在一起,图像多的负载要加编码算力就得连解码算力一起加。 在 GB200 上用 DeepSeek V4.1 Flash 回答 512 道 MP-DocVQA 验证题,四块 GPU 做预填充、四块做解码的基线与再加四块单卡编码器实例的 EPD 对比,并发 64–128 时 EPD 每 GPU 吞吐高 6.6–9.5%,P90 首字延迟低 44–47%。

下游实例不再重复处理原始媒体,而是凭编码器发布的布局元数据重建占位符,嵌入向量另走连接器传输。 直接转发原始请求时,消费端仍要抓取、解码、缩放、归一化或切块媒体才能恢复输入布局,而编码器已经做过这些工作。 在 MMAU test-mini 的 1000 条音频样本、Qwen3-Omni-30B-A3B-Instruct、1E+1PD、并发 64 的设置下,只传元数据把吞吐从 62.21 请求/秒提到 73.13 请求/秒,平均延迟从 980 毫秒降到 853 毫秒,准确率从 75.90% 变为 75.65%。

编码器实例走独立的执行路径,不维护语言模型 KV 缓存、不采样 token,并按需只加载编码器权重分片。 编码器实例此前沿用为语言模型设计的执行生命周期,加载检查点时也要读入纯语言模型分片。 在裁剪过的 Kimi-K3 检查点上,编码器只读取 96 个分片中的 2 个,权重加载时间从 683 秒降到 0.31 秒。

跨编码器缓存复用让被重新分配到另一台编码器的图像直接命中共享存储中的嵌入,而不必重算。 实例本地缓存存在复用缺口:图像在负载均衡或扩容后被路由到另一台编码器时,那台实例没有缓存就只能重跑一次编码前向。 在六块 H20、InternVL3_5-38B-HF、2E+4PD、同节点 Mooncake TCP 的重分配实验中,128 条请求共 512 张图像,重复编码从 512 次降到零,首字延迟 p50 从 1.209 秒降到 0.819 秒,p90 从 1.656 秒降到 0.891 秒。

启示与展望

演示范围限于 vLLM 的 EPD 部署:音频评测覆盖 Qwen2-Audio、AudioFlamingo3、Ultravox、Qwen2.5-Omni 和 Qwen3-Omni 的纯音频 Chat Completions 请求,实时与音视频混合输入不在其中;跨编码器复用初始支持图像、Model Runner V2、编码器 TP=1 且不支持动态 LoRA。核心能力随 vLLM v0.32.0 提供,DeepSeek V4.1 Flash 的元数据支持在 main 分支上。

音频路径上准确率从 75.90% 变为 75.65%,这一差异尚待调查;该对比衡量的是 EPD 内部两条音频输入路径,而非 EPD 与同机部署的对比。跨编码器复用的重分配实验是单次运行,且每张图像都被重分配,属于最好情况,生产收益取决于复用频率与共享存储的内存和 I/O 开销。并发 16 时 EPD 的每 GPU 吞吐低于基线,32 时大致持平,收益取决于负载与资源分配而非分离本身。异步发布意味着并发的冷请求仍可能重复计算。