Transformer 也能横向分叉:MBT 把整块堆叠拆成并行分支,长上下文解码吞吐最高提升 51.4%
语言模型通常靠加宽模块或堆叠更深来扩展,Multi-Branch Transformer(MBT)改走第三条路:把完整的 Transformer 块并行组成分支。在 0.8B 到 2.1B 总参数的四个 MoE 规模上,2 分支 Wide-Shallow MBT 在参数与训练算力匹配时稳定优于串行 Transformer;最终配方 Balanced MBT 加 Joint-KV 在单张 H200 上把全模型 KV 缓存最多减少 34%,64K 输入、8 并发请求时解码吞吐最高提升 51.4%。