英伟达把边缘大模型部署压到几条命令:DGX Spark 上开 DSpark,生成速度从 73.3 升到 108.5 tokens/s
核心概要
英伟达发布 TensorRT Edge-LLM 轻量 C++ 推理运行时,并给出在 64GB DGX Spark 上用 trtedge 命令行下载模型、构建 TensorRT 引擎、启动本地 OpenAI 兼容服务的流程。此前把模型部署到边缘设备需要大量环境搭建。在 Nemotron-3.5 Lightning 上,开启三草稿 token 的 DSpark 推测解码后,SpeedBench 1K 的平均生成速度由 73.3 升到 108.5 tokens/s,首 token 中位时延基本不变。
深度剖析
边缘开发者现在可以用 trtedge 命令行在 DGX Spark 上完成模型下载、TensorRT 引擎构建和本地服务启动,把同一套推理运行时从开发机带到 Jetson Thor、DRIVE AGX Thor 和 IGX Thor 等部署平台。 此前让模型在紧内存、功耗和时延预算下跑起来,往往需要大量环境搭建工作。 示例流程在 TensorRT Edge-LLM 0.11.1 与 TensorRT 10.16.1.11 上测试,首次启动需等待约 21GB 模型下载和引擎构建,之后复用缓存引擎。
运行时通过 DSpark 推测解码加速生成:一个草稿模型先提出若干 token,主模型在一次前向中批量验证。 DSpark 以草稿模型加主模型验证的方式替代逐 token 生成,示例中草稿 token 数设为 3。 在 DGX Spark 64GB、NVFP4、batch size 为 1、单路并发流式请求、输出上限 128 token 的设定下,SpeedBench 1K 的平均生成速度从 73.3 升到 108.5 tokens/s,SpeedBench 2K 从 72.8 升到 105.3,HumanEval prompts 从 73.4 升到 126.9。
开启 DSpark 后首 token 时延没有明显变化,说明加速主要落在首 token 之后的逐 token 生成阶段。 SpeedBench 1K 的中位首 token 时延由 201.0 ms 变为 203.0 ms,SpeedBench 2K 由 329.5 ms 变为 331.6 ms,HumanEval prompts 由 98.1 ms 变为 98.7 ms。 生成速度按每请求平均 token 生成速率统计,不含首 token 时间;开启 DSpark 时推理期间系统峰值总内存为 27.9GB,含操作系统。
启示与展望
演示范围是 64GB DGX Spark、DGX OS 7.6.0(Ubuntu 24.04.4 LTS)、NVFP4、开启 thinking、batch size 为 1、单路并发流式请求、128 token 输出上限,输入平均长度分别为 SpeedBench 1K 的 1153 token、SpeedBench 2K 的 2247 token 和 HumanEval 的 139 token。
DSpark 的加速幅度随工作负载变化,HumanEval prompts 上的提升明显大于 SpeedBench 两组;草稿 token 数等参数需要按具体负载调优,示例只给出设为 3 的一种配置。
