跳到主要内容
检索

# 仅元数据请求

1 篇关联报道

订阅更新
  1. vLLM Blog

    vLLM把多模态编码拆成独立实例:DeepSeek V4.1 Flash上每GPU吞吐提高6.6–9.5%

    vLLM 为多模态推理引入编码器、预填充、解码三段分离部署(EPD),让图像、视频、音频的编码容量可以独立于语言模型扩容。新版本加入只传元数据的请求转发、编码器专用执行路径、远程嵌入传输与跨编码器缓存复用。在 DeepSeek V4.1 Flash 的文档问答测试中,并发 64–128 时计入全部 12 块 GPU 的每 GPU 吞吐比八卡 PD 基线高 6.6–9.5%,P90 首字延迟低 44–47%,但并发 16 时反而更低。

已读完全部报道