TensorRT不再只走一条编译路线:十个工作负载上,调优后最快路线比默认快1.14到1.63倍
核心概要
NVIDIA在TensorRT 11.1中推出全局性能调优器,把编译器的调度选择表示成可搜索的构建路线,即一组编译器开关取值的组合,并在满足用户给定精度边界的前提下挑选实测端到端最快的引擎。默认构建路线在十个评测工作负载上被归一化为1.0倍,调优找到的最佳合格路线相对它取得1.14倍到1.63倍的提升。精度决定哪些候选可接受,性能只在可接受候选中排序,因此调优结果绑定于具体模型、输入形状、目标GPU与软件版本。
深度剖析
TensorRT的性能优化不再依赖单一通用调度策略,而是对每个模型分别评估多条候选编译路线。 没有指定构建路线时,TensorRT使用默认构建路线,即所有编译器开关保持默认值;此前优化只能寄望于这一条路线对当前模型恰好合适。 在十个评测工作负载上,以各自默认构建路线归一化为1.0倍,调优找到的最佳合格路线带来1.14倍到1.63倍的性能提升。
调优把编译器的调度选择写成显式的构建路线,让搜索空间可以被枚举和比较。 构建路线是一组编译器开关取值的具体组合,开关是改变编译流程某一环节的配置项,例如融合决策或代码生成路径;TensorRT 11.1提供200多个可调开关。 trtexec中的示例实现把类正则的路线表达式展开为具体路线列表,逐条构建并测量精度与性能,构建崩溃或推理不满足精度的路线被排除,再在合格引擎中选实测端到端最快者。
精度与性能在优化中被拆成两个角色,而不是被合并成一个目标。 精度决定哪些候选解可以接受,性能只在可接受的候选中排序,开发者负责定义适合自身应用的精度边界。 在四个二值开关、共16个候选解的设想例子中,精度容差从正无穷收紧到0时,合格候选集从16个逐步收缩到1个,每个容差下选合格候选中实测最快者;这些计数为示意,实际转折点取决于模型、参考数据和精度指标。
启示与展望
已展示的范围是TensorRT 11.1中全局性能调优器在十个评测工作负载上的端到端测量,以及trtexec示例实现所组织的调优循环;同一实现在Python中的版本计划随Torch-TensorRT 2.15发布。
最佳构建路线只对搜索时使用的模型、输入形状、目标GPU、软件栈以及TensorRT和调优器版本成立,换到另一部署可能无效甚至回退;文中关于16个候选解随精度容差收缩的计数为示意,实际转折点取决于模型、参考数据和所选精度指标。
