跳到主要内容
检索

vLLM

11 篇关联报道

订阅更新
  1. vLLM Blog

    vLLM 首日支持 Thinking Machines 的 Inkling 2 Small:594B 总参数、17B 激活,单用户解码约 630 tok/s

    Thinking Machines 的 Inkling 2 Small 在发布当天获得 vLLM 支持。这是一个文本与图像输入、文本输出的混合专家模型,总参数 594B、激活 17B,上下文最长 1M token,并自带 DSpark 推测解码草稿器。vLLM 通过内核融合、程序化依赖启动、序列并行和针对 6:1 GQA 比例重写的 Gluon 注意力内核完成适配,在 GB200 上 TP4 单用户解码约 630 tok/s、接受长度 3.5,并支持 LoRA 与经由 SkyRL 的强化学习。

  2. vLLM Blog

    vLLM 为 Kimi K3 训出 DSpark 草稿模型:数学推理单流交互从约110升到约435 tok/s/user

    vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持,训练出五层、50 亿参数的 DSpark 草稿模型,用并行块加顺序校正做投机解码。在数学推理负载上,单流交互速度从约 110 提升到约 435 tok/s/user,并发下同等交互水平时输出吞吐最高约 3.5 倍;九个评测域的宏平均接受长度为每轮验证 4.11 个 token。

  3. vLLM Blog

    vLLM 首日接住 Mistral Large 4:NVFP4 解码比 FP8 快 1.08–1.19 倍,KV 缓存多约 1.5 倍

    vLLM 在发布当天为 Mistral Large 4 提供推理支持,这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上,NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍,并持有约 1.5 倍 KV 缓存,而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。

  4. vLLM Blog

    百万token上下文挤进16块H200:GLM-5.3把KV缓存按token切开,单用户速度提至3.2倍

    GLM-5.3的长上下文服务在16块H200上受KV缓存显存与预填充速度双重限制。预填充端把每个提示按token切到8块GPU(PCP),再把KV缓存按token分片(DCP),使100万token请求每卡只需6.7 GiB;解码端用Hybrid HiSparse把KV放到主机内存。在AgentX基准上,PCP8×DCP8预填充配HiSparse解码在同等吞吐下给出DP8部署1.7–3.2倍的单用户速度,也是所测配置中唯一能服务100万token上下文的方案。

  5. vLLM Blog

    MiniMax-M3.1-Flash 上线首日进 vLLM:NVFP4 缓存让 256K 序列同卡并发从 28 条升到 76 条

    MiniMax 开源 MiniMax-M3.1-Flash,vLLM 在发布当天于 NVIDIA Blackwell、Rubin 与 AMD MI350 系列 GPU 上提供支持。该模型针对 NVFP4 KV 缓存做量化感知训练,路由专家权重也以 NVFP4 存储,检查点从 451.5 GB 降到 250.1 GB,每 token 的 KV 缓存从 61,440 字节降到 34,560 字节。在四块 NVIDIA B300、DEP4 部署、256K token 序列下,M3.1 可容纳 76 条并发序列,而使用 FP8 KV 缓存的 M3 为 28 条。

  6. vLLM Blog

    vLLM 模型代码不改一行就能跑上谷歌 TPU:新后端复用现有调度器与 KV 缓存

    Inferact 与谷歌发布 vLLM TorchTPU,让 vLLM 里已有的模型定义无需改动即可在谷歌云 TPU 上提供服务。此前在 TPU 上部署模型需要另写模型代码,而这一后端沿用 vLLM 原有的命令行、OpenAI 兼容服务器、调度器和 KV 缓存管理器,TPU 相关工作放在它们之下。它通过 torch.compile 的 TPU 后端编译到 XLA,并用 JAX/Pallas 自定义算子处理注意力、混合专家和量化矩阵乘等操作。

  7. vLLM Blog

    扩缩容不再停服百秒:vLLM弹性专家并行把中断压到0.82秒,DeepSeek V4 Pro照常出词

    在vLLM的弹性专家并行中,扩缩容过去要暂停服务,DeepSeek V4 Pro从16块扩到20块GB200时中断99.62秒。新方案把重配置拆成后台准备与短暂提交,并让NIXL EP原地增删通信成员、保留已捕获的CUDA图,使同一基准下扩容中断降到0.82秒、缩容降到1.96秒。

  8. vLLM Blog

    501B稀疏模型发布首日即进推理引擎:编码智能体自主调优,单请求解码708词元每秒

    Reflection的Beam是一个501B参数、每词元激活23B的混合专家模型,vLLM在发布首日即提供完整支持,推理、工具调用与结构化输出开箱可用。其初始版本几乎是未优化的纯PyTorch实现,编码智能体自主剖析模型、编写内核并逐项基准测试,在TP8上把批大小为1的解码从每步8.95毫秒降到3.30毫秒,8×2K预填充从328毫秒降到176毫秒。配合DFlash2草稿头,单请求在TP8上达到708词元每秒,接受长度为3.7。

  9. vLLM Blog

    英伟达把视觉理解塞进常驻智能体:120B总参数只激活12B,单卡吞吐最高5倍

    英伟达发布 Nemotron 3.5 Super VL,一个面向长时间运行智能体的开放多模态模型,把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里,减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构,配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化,并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是:在单张 GPU 上,该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍,任务完成速度可达4倍。

  10. vLLM Blog

    vLLM首日跑通816B稀疏大模型:1M上下文只留四分之一KV缓存,TPU上单请求超960 token/秒

    vLLM在Muse Spark Open发布当天就提供了推理支持,这是一款总参数816B、每token激活42B的混合专家模型,支持1M上下文与原生图像、视频、音频输入。此前这类规模的模型往往要等社区适配数周;这次Nvidia与AMD镜像同步放出,并配套训练了DSpark投机解码草稿模型。TPU上配合投机解码,4颗v7芯片超过650 token/秒,8颗超过960 token/秒。