Helion 不再靠自动调优选参数:编译期启发式直接给出配置,线性注意力上达到手写 Triton 的 1.18 倍
核心概要
PyTorch 的性能可移植内核语言 Helion 现在在编译期读取内核的中间表示与数据流,把内核归入矩阵乘、归约或逐点三类,直接给出块大小、warp 数和流水级数,不再依赖耗时的自动调优。此前不调优的默认配置在 H100 上只有手写 Flash Linear Attention Triton 的 0.52 倍,自动调优虽能到 1.26 倍却要花 GPU 小时;新启发式在九个线性注意力变体、六个生产形状上达到 1.18 倍,且分析本身只增加数十毫秒编译时间。
深度剖析
Helion 的内核现在可以在完全不运行自动调优的情况下拿到接近调优结果的配置,使这一内核语言的默认行为从落后手写实现转为领先。 此前只有两个选项:使用不调优的默认配置,在 H100 上只有手写 Flash Linear Attention Triton 的 0.52 倍;或者花 GPU 小时做自动调优,达到 1.26 倍。 在九个线性注意力变体、六个生产形状(批 1 到 8、头数 8 到 96、序列长度 1024 到 16384、头维度 64 到 256)上,编译期算出的配置在 H100 上前向达到手写 FLA Triton 的 1.18 倍,含反向为 1.12 倍,相对 Helion 旧默认快 2.13 倍。
同一套启发式在别人写的生产内核上也成立,说明它不依赖某一类专门库。 vLLM 自带的六个归约内核此前已有 Helion 实现,Helion 不调优默认只有 vLLM 手写 CUDA/C++ 的 0.58 倍,完整自动调优为 1.31 倍。 在 H100 上六个生产内核、153 个内核与形状组合上,编译期配置达到 vLLM 手写 CUDA/C++ 的 1.27 倍,比旧默认快 2.2 倍,与完整调优只差约 3%。
配置由编译期对内核结构的分析直接产生,而不是靠编译并基准测试成千上万个候选。 一个 Helion 内核可下沉为数千个 Triton 内核,自动调优必须逐个编译和计时来挑选,代价按内核、按形状、按硬件后端累乘。 启发式扫描设备中间表示中的操作:含 hl.dot 或 torch.baddbmm 等矩阵乘的走矩阵乘启发式,无矩阵乘的归约走归约启发式,其余走逐点启发式;若形状范围在编译期未知则不触发,回落到原默认。
启示与展望
结论覆盖 H100 与 B200 上的 Triton 后端,启发式已合入 Helion 并默认启用;评测对象是线性注意力变体、vLLM 的六个归约内核,以及归约与矩阵乘的通用内核套件。
启发式本质上在预测另一个编译器把值放在寄存器、共享内存还是张量内存,这一估计是近似的;当内核的某些范围在编译期未知时启发式不触发,回落到旧默认;在参差的 HSTU 注意力上旧默认恰好命中好配置(3.72 倍),启发式反而更低(3.27 倍);矩阵乘对比并非总是同等条件,部分 PyTorch 实现会物化 Helion 融合掉的中间结果。
