501B稀疏模型发布首日即进推理引擎:编码智能体自主调优,单请求解码708词元每秒
核心概要
Reflection的Beam是一个501B参数、每词元激活23B的混合专家模型,vLLM在发布首日即提供完整支持,推理、工具调用与结构化输出开箱可用。其初始版本几乎是未优化的纯PyTorch实现,编码智能体自主剖析模型、编写内核并逐项基准测试,在TP8上把批大小为1的解码从每步8.95毫秒降到3.30毫秒,8×2K预填充从328毫秒降到176毫秒。配合DFlash2草稿头,单请求在TP8上达到708词元每秒,接受长度为3.7。
深度剖析
一个501B参数、每词元仅激活23B的混合专家模型在推理引擎中获得首日完整支持,推理、工具调用和结构化输出开箱可用,并可按张量并行、数据并行或专家并行部署。 此前的初始实现是几乎未优化的纯PyTorch版本,没有针对该模型结构做算子融合。 在TP8、GB200上,七项改动使批大小为1的解码从每步8.95毫秒降至3.30毫秒,8×2048词元预填充从328毫秒降至176毫秒。
这些优化由编码智能体自主完成,它们剖析模型、编写内核并对每项改动做基准测试。 人工逐项调优通常依赖工程师逐个定位热点,这里把剖析、内核编写和基准测试交给智能体循环执行。 改动包括把归一化、残差与下一层归一化合成一个Triton内核,把每头Q/K归一化与RoPE或SSMax合成一个内核,并把两次张量并行全归约放进归一化内核。
模型自带DFlash2草稿头,一次前向从目标模型隐藏状态预测整块词元,而非逐词元起草。 逐词元起草每步只能提出一个候选,并行起草则一次给出多个候选但失去部分从左到右的依赖。 草稿头用5层滑动窗口读取5个目标层隐藏状态,共享目标模型嵌入与输出头,并用分组卷积和小型候选选择器补回依赖;在SPEED-Bench低熵类别上单请求达708词元每秒,接受长度3.7。
启示与展望
报告面向需要部署该模型的推理工程师,覆盖单节点TP4/TP8低延迟配置与数据并行注意力加专家并行的高吞吐配置。高并发下的1.71倍预填充提升在4块GB300、输入32K词元、输出1词元的设置下测得。自适应验证的收益出现在并发32以上,低并发下基本中性。
草稿头的高接受长度来自SPEED-Bench低熵类别,主要是代码补全与文本排序,开放式对话预期接受长度更低。自适应验证在并发128时把接受长度从3.68降到3.23,吞吐提升以略降接受长度为代价。智能体优化后的内核启动序列中仍有七个来自库,剩余时间主要集中在那里。
