跳到主要内容
返回时间线
vLLM Blog来源发表:

英伟达把视觉理解塞进常驻智能体:120B总参数只激活12B,单卡吞吐最高5倍

核心概要

英伟达发布 Nemotron 3.5 Super VL,一个面向长时间运行智能体的开放多模态模型,把文档、图像、视频理解与推理、指令跟随、工具调用合并在同一个模型里,减少分别部署文本模型和视觉模型的需要。它采用1200亿总参数、120亿激活参数的混合专家架构,配合混合 Mamba-Transformer、多令牌预测与 NVFP4 量化,并可在 NVIDIA NeMo 上用机构自有数据、工具、策略和工作流做后训练。官方给出的对照是:在单张 GPU 上,该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍,任务完成速度可达4倍。

Source-provided article image: Announcing Day 0 Support for NVIDIA Nemotron 3.5 Super VL on vLLM
vLLM

深度剖析

常驻智能体现在可以用一个模型同时看图、读文档、看视频并调用工具,不必再为视觉理解和文本执行分别维护两套模型。 此前的常见做法是把文本模型和视觉模型分开部署,多模态理解与高精度执行分属不同组件。 官方把该模型定位为模型体系中的默认高精度智能体执行模型,与面向高并发文本执行的 Nemotron 3.5 Lightning、面向最难纯文本推理的 Nemotron 3 Ultra 并列。

模型把多模态理解与智能体执行放在同一条推理链路里,跨工作流步骤保留与任务相关的上下文。 该模型以混合 Mamba-Transformer 架构、多令牌预测和 NVFP4 量化来提升生成效率,为更多并发的长上下文会话留出空间。 官方给出的部署目标是 1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100,并通过 NVIDIA NIM 在云和数据中心环境提供生产服务。

多令牌预测在解码时由内置预测头提出后续令牌,再由目标模型验证,从而减少长回复所需的串行生成步数。 官方称这一机制在加速令牌生成的同时保持目标模型的输出质量。 官方给出的对照是:在单张 GPU 上,该模型在智能体任务上的吞吐最高可达同尺寸其他开放模型的5倍,任务完成速度可达4倍,并在 Baseten 端点上于 Artificial Analysis Intelligence Index 智能体任务中超过 600 TPS。

启示与展望

该模型面向需要持续运行、反复调用工具并处理文档、图像和视频的智能体工作流,官方列出的场景包括客户服务、文档智能、企业生产力、视频理解和网络研究。部署侧给出 1x GB10、B200、B300、RTX PRO 6000、H200 和 2x H100 等目标平台,并通过 NVIDIA NIM 提供生产服务,vLLM 提供连续批处理、前缀缓存、投机解码和 OpenAI 兼容接口。官方建议在目标硬件上验证 NVFP4 启动配置后再使用。

吞吐与任务完成速度的倍数对照来自官方图表,测量条件为单张 GPU 与 Baseten 端点,换到其他硬件或服务栈时数值可能不同。官方另给出的一张 DGX Spark 效率前沿图针对相关的 Nemotron 3.5 Super 模型,并不测量 Nemotron 3.5 Super VL。NVFP4 启动配置被描述为示例,需要在目标硬件上验证。