从零搜索GPU内核:CompoundingKernel在SOL-ExecBench三个公开榜登顶,209题平均快4.40倍
核心概要
CompoundingKernel把GPU内核编写变成一场从零开始的搜索:每个问题只给PyTorch定义,不给参考内核和官方分数,模型之外的档案保存每个正确内核及其谱系,由LLM控制器挑选父本或新设计并给并行子智能体各派一个方向。截至2026年11月11日,其生成内核在SOL-ExecBench的L1、L2和Quantization三个公开榜排名第一,235个问题全部被站点判定正确,209个公开榜问题上的内核比基准的PyTorch基线快4.40倍。
深度剖析
GPU内核的编写被组织成一场可累积的搜索,而不是一次性的代码生成:每个问题从PyTorch定义冷启动,搜索过程中产生的正确内核连同计时和父本关系一起留在模型之外的档案里,后续尝试可以接着这些记录往下走。 此前的强内核结果多来自固定前沿模型套在某个搜索或执行框架里,而只给目标的智能体本身已是强基线,因此框架必须靠测量证明自己的价值。 在相同墙钟时间下,LLM控制器在38个配对问题中的35个上胜过按UCB式分数排序节点的编码树搜索;单次尝试的命中率两者相近,控制器取胜是因为它做出的正确尝试多2.4倍。
搜索的每一步由控制器读档案后决定:选一个已有内核继续改,或开一个新设计,然后把一条方向交给一个空闲的子智能体。 子智能体只拿到父本和一条方向,自己编辑、编译并在B200上计时,正确性由模型之外的检查判定,只有正确的内核才作为节点写入档案。 最终运行中同时有超过一千个智能体会话在跑,它们评估的候选中98.4%是正确的(截至2026年11月2日);一次热重启修复把评估速率提高了3.6倍。
规模的上限不在智能体数量,而在可靠测量的速率:只有每次新尝试都建立在上一次可靠测量之上,搜索才会复利式增长。 增加指导并没有带来可测量的收益,把可选的参考资料(自建技能和一份公开wiki)改为强制后结果没有变化。 Quantization榜第030题的最佳路径沿谱系从6.25升到27.36(本地计时),但其中270步里有76步持平或更慢,说明较慢的内核可以作为垫脚石。
启示与展望
已展示的范围是SOL-ExecBench在NVIDIA B200上的235个问题:L1、L2和Quantization三个公开榜的内核由站点评分和计时,FlashInfer-Bench的内核仅以私有行在站点验证正确、结果未公开。排名、逐题计数和加速比截至2026年11月11日,行数与源码模式截至2026年10月31日。
榜首位置并不稳固:L1自2026年10月27日起保持第一,但2026年11月7日短暂失去过;L2和Quantization也曾被其他团队在2026年11月7日、10月27日和11月8日超过,公开分数并未下降,是在2026年11月10日晚(UTC)公开更多行后重新拿回第一。本地计时在未锁频、最高约1,965 MHz的SM时钟下偏快,需要一项智能体看不到的校准来换算。
