跳到主要内容
返回时间线
LMSYS Org来源发表:

816B开源多模态模型发布当天就能跑:SGLang与Miles把推理和强化学习后端一起接上

核心概要

Meta 发布开源权重多模态混合专家模型 Muse Spark Open,SGLang 与 Miles 在发布当天为其接上推理与强化学习训练后端。该模型文本主干 816B 参数、每 token 约 42B 激活,支持文本、图像、视频、音频输入和 1M token 上下文。在 8 块 B300 上以 NVFP4 权重跑 OpenHands 多轮智能体编码回放,并发 128 时每 GPU 总吞吐 80.3K token/s、每用户 61 token/s。

Source-provided article image: SGLang and Miles Add Day-0 Support for Muse Spark Open
LMSYS Org

深度剖析

开源权重模型发布当天即可在多种加速器上获得推理支持,覆盖 NVIDIA Blackwell 与 H200、AMD MI350X 与 MI355X,以及 Intel Xeon 6 P-core 平台。 此前这类超大多模态模型的支持通常滞后于权重发布,部署方需要等待后端适配。 在 8 块 B300、TP8/EP8 的 OpenHands 多轮智能体编码回放上,NVFP4 检查点在并发 1 时达到每 GPU 14.8K token/s、每用户 543 token/s,并发 128 时为每 GPU 80.3K token/s、每用户 61 token/s。

长提示预填充的等待时间被压缩,做法是把激活沿 token 维切分到各张量并行卡上,让池化、反池化和归一化只处理本卡分到的 token。 单用张量并行时,池化、反池化和边界层归一化在每张卡上都要处理同一整批 token。 在 4 块 GB300、TP4/EP4、16K 预填充分块、并发 1 到 64 的七档扫描中,序列并行加 NVFP4 MegaMoE 把 p90 首 token 时间降低 28.3% 到 41.9%;并发 64 时从 29.03 秒降到 19.47 秒。

强化学习训练侧能对全参数做更新,并让多轮 rollout 的 token 序列与模型实际采样保持一致。 多轮训练中重新渲染对话模板会改动已有前缀,使训练序列偏离原始轨迹。 在 64 块 H200 与 32 块 B300 上用 GRPO 在 DAPO-Math-17K 上训练全语言模型,采用 rollout 路由回放后训练与 rollout 的 log 概率差为 0.0044 到 0.0071,未采用时为 0.015 到 0.020。

启示与展望

报道覆盖的是 Muse Spark Open 在 SGLang 与 Miles 上的支持范围:NVIDIA Blackwell 与 H200、AMD MI350X 与 MI355X、Intel Xeon 6 P-core 的推理路径,以及基于 Megatron-Core 的全参数强化学习训练。性能数字来自 8 块 B300 的 OpenHands 与 AgentX 回放、4 块 GB300 的预填充扫描,以及 64 块 H200 和 32 块 B300 的训练运行。TPU 路径的配方与 SGLang-TorchTPU 访问被描述为即将提供。

回放中的推测解码接受长度是固定的模拟值:OpenHands 扫描固定为 4.5,AgentX 扫描固定为 4.16,后者取自 80 条真实编码首轮提示上的实测值,因此解码开销反映的是该接受长度而非草稿模型的实际质量。AgentX 保留记录轨迹的 token 数与前缀结构但生成合成提示文本。精度对照表中部分基准的参考值来自模型卡与已发布的 SGLang 测试结果。