跳到主要内容
返回时间线
arXiv来源发表:

Transformer 也能横向分叉:MBT 把整块堆叠拆成并行分支,长上下文解码吞吐最高提升 51.4%

核心概要

语言模型通常靠加宽模块或堆叠更深来扩展,Multi-Branch Transformer(MBT)改走第三条路:把完整的 Transformer 块并行组成分支。在 0.8B 到 2.1B 总参数的四个 MoE 规模上,2 分支 Wide-Shallow MBT 在参数与训练算力匹配时稳定优于串行 Transformer;最终配方 Balanced MBT 加 Joint-KV 在单张 H200 上把全模型 KV 缓存最多减少 34%,64K 输入、8 并发请求时解码吞吐最高提升 51.4%。

AI-generated editorial illustration: Multi-Branch Transformer

深度剖析

MBT 把标准 Transformer 中段的一串串行块换成若干条独立参数化的并行分支,输入先经过共享的前置层,分支输出融合后再进入共享的收尾层,因此模型容量可以沿“分支”这一维度组织,而不只是加宽或加深。 此前的扩展选择集中在把每个块变宽或在序列上堆更多块,完整 Transformer 块的并行组合在自回归语言模型里很少被当作扩展手段。 在 0.8B 至 2.1B 总参数的四个 MoE 规模上,2 分支 Wide-Shallow MBT 在参数和训练算力匹配时,四个规模都优于串行 Transformer,验证损失降低 0.025 至 0.031。

分支结构还带来一个推理侧的好处:同深度的各分支可以共用一份键值缓存,而不必各存一份。 默认的 Independent-KV 让每个分支的每个块各自维护缓存,分支越多缓存越大,长上下文解码时读取的字节也越多。 Joint-KV 在每个深度用分支表示共同构造共享 KV 缓存、查询仍留在各分支内;2、3、4 分支的 Joint-KV MBT 相对标准 Transformer 减少 19% 至 34% 的全模型 KV 缓存,同时 12 个 Joint-KV 模型的验证损失都低于同规模标准模型。

配套推理引擎把同深度的分支块合并成一次批处理执行,并把分支维度折进查询头维度,让一次注意力调用复用共享缓存。 若逐块串行执行分支,串行步数更多,且每个分支都要把同一份共享 KV 读一遍,反而比标准 Transformer 慢。 在单张 H200 上,4 分支 Joint-KV MBT 在四个规模、4K 至 128K 输入、1 至 64 并发请求的每个设置下解码都快于标准 Transformer;64K 输入、8 并发请求时最高提升 51.4%。

启示与展望

结论建立在 FineWeb-Edu 上约每参数 200 token 的预训练、4,096 token 上下文,以及 0.8B 至 2.1B 总参数的四个 MoE 规模;推理基准在单张 H200 上完成,输入为 4K 至 128K token、并发 1 至 64 个请求。

分支带来的收益随规模与配置变化:2 分支在七个设置下慢于标准 Transformer,其中六个在 W1、一个在 W3 且为 4K 输入;分支数从 2 增到 3 或 4 时验证损失平均绝对变化小于 0.006,属于保持而非继续提升。拟合曲线给出的 1.26 倍训练算力与 34% 缓存节省都是拟合或理论上限值,作者也把联合缩放律、与跨层缓存共享结合、多模态分支列为后续方向。