Together Compiler 把推理编译变成持续循环:前沿模型上吞吐最高提升 2.6 倍,24 小时内完成
核心概要
Together AI 推出 Together Compiler(TKCC),把 AI 推理引擎的优化从一次性编译改成由智能体持续迭代的循环。此前智能体要么在离线基准上优化单个内核、测量保真度低,要么每次测量都重启整个引擎、迭代极慢。TKCC 用分层常驻引擎把引擎启动与单次前向计算解耦,并配合并行配置代价模型,在 Llama 1B 上超过手写 Megakernel,在 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 上于 InferenceX 基准超过最佳开源引擎,每个模型 24 小时内、最多 2 个节点完成。
深度剖析
推理优化从一次性编译变成持续循环:智能体不断提交新的前向实现,引擎在不重启的情况下测量并保留更快的版本。 此前的智能体优化系统在测量吞吐与测量保真度之间二选一,离线内核基准用随机数据、保真度低,端到端引擎优化则每次测量都要重启引擎。 分层常驻引擎让 TKCC 处理的智能体实验数比每次重启引擎的系统多 252 倍,每个智能体的空闲时间降低 11 倍。
引擎只加载一次模型,之后把智能体提交的前向实现当作候选热替换进去,并按快、慢两个测量层分流。 热替换的做法是替换模型的前向函数指针并重新捕获 CUDA/HIP 图,快层用于快速筛掉会崩溃或挂起的候选,慢层提供更高保真度的测量。 在两层测量设置下,系统评估的候选数比单一慢层多 8.1 倍(1,354 对 168),并找到快 7.2% 的解。
并行配置由代价模型先排序再交给智能体优化,避免在昂贵搜索上盲目投入。 代价模型把理论硬件规格、实测计算/内存/通信性能和端到端前向性能分层比较,以区分硬件上限与软件实现不成熟带来的差距。 该代价模型为 Kimi K3 的生产部署找到的配置把 TPS 最高提升 24%、TPM 最高提升 18%。
启示与展望
演示范围是 Together AI 自身的推理部署:Llama 1B 的批大小 1 推理、InferenceX 基准上的四个前沿模型与多种硬件平台,以及天气、生物、时间序列和偏微分方程等非语言模型负载。读者对象是推理系统与编译方向的工程师和研究者。
智能体仍有大量时间花在等待测量反馈和排队上,测量吞吐被列为继续提升的主要瓶颈;部分优化依赖特定硬件,例如在 GPU 上把整层合并成单个常驻内核并未带来持续收益,而在 Trainium2 上则有效。
