跳到主要内容
检索

# TensorRT 多设备推理

1 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    NVIDIA 用 Dynamo-Triton 26.07 把 TensorRT 多设备推理接入单一 gRPC 端点,Cosmos 3 Nano 视频生成端到端延迟从 156.595 秒降到 34.183 秒

    NVIDIA 介绍了 TensorRT 多设备推理(自 TensorRT 11.0 起全面支持)与 Dynamo-Triton 26.07 的集成:一个 KIND_MODEL 实例可拥有多块 GPU,创建按 rank 的 TensorRT 执行上下文、CUDA 流和 NCCL 通信器并统一启动,应用只需通过一个 gRPC 端点调用模型;在 Cosmos 3 Nano 视频生成示例中,36 层去噪 transformer 用 Ulysses 上下文并行把 44,160 个视频 token 分布到最多八块 GPU,端到端延迟从单 GPU 的 156.595 秒降至八 GPU 的 34.183 秒(4.58 倍),transformer RPC 加速 6.09 倍,CP2/CP4/CP8 均通过

已读完全部报道