英伟达把边缘大模型部署压到几条命令:DGX Spark 上开 DSpark,生成速度从 73.3 升到 108.5 tokens/s
英伟达发布 TensorRT Edge-LLM 轻量 C++ 推理运行时,并给出在 64GB DGX Spark 上用 trtedge 命令行下载模型、构建 TensorRT 引擎、启动本地 OpenAI 兼容服务的流程。此前把模型部署到边缘设备需要大量环境搭建。在 Nemotron-3.5 Lightning 上,开启三草稿 token 的 DSpark 推测解码后,SpeedBench 1K 的平均生成速度由 73.3 升到 108.5 tokens/s,首 token 中位时延基本不变。