跳到主要内容
检索

# NVIDIA Nemotron-3.5 Lightning

1 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    英伟达把边缘大模型部署压到几条命令:DGX Spark 上开 DSpark,生成速度从 73.3 升到 108.5 tokens/s

    英伟达发布 TensorRT Edge-LLM 轻量 C++ 推理运行时,并给出在 64GB DGX Spark 上用 trtedge 命令行下载模型、构建 TensorRT 引擎、启动本地 OpenAI 兼容服务的流程。此前把模型部署到边缘设备需要大量环境搭建。在 Nemotron-3.5 Lightning 上,开启三草稿 token 的 DSpark 推测解码后,SpeedBench 1K 的平均生成速度由 73.3 升到 108.5 tokens/s,首 token 中位时延基本不变。

已读完全部报道