114B音视频模型搬上摩尔线程:MAGI-2 Preview单步从15.6秒降到565毫秒
核心概要
Sand AI 的 MAGI-2 Preview 是一个约 114B 参数、每 token 约激活 6B 的音视频生成模型,此前只在 CUDA 生态里运行。借助兼容层 torchada,vLLM-Omni 的既有实现几乎原样跑在摩尔线程 MUSA 上,再沿执行路径逐项优化:首次可运行版本每步去噪 15.6 秒,应用全部改动后最新测量为 565 毫秒。这些数字来自不同代码树和会话,只在各自段落内比较。
深度剖析
一个为 CUDA 编写的 114B 音视频生成模型现在能在摩尔线程 MUSA 上运行,并沿执行路径逐项优化到每步数百毫秒。 首次可运行版本在 4 步诊断运行中每步去噪需要 15.6 秒,其中大部分时间不是计算,而是主机同步与通信等待。 在 8 块 MTT S5000 上,272p、100 步、静态编译、应用全部改动后,最新一次测量为每步 565 毫秒;这一数字与 15.6 秒分属不同代码树和会话,只描述整体工作量,不构成两个代码状态之间的对照。
复用来自兼容层:CUDA 风格的 PyTorch 调用、Inductor 编译路径和分布式通信都直接沿用,Triton 内核只改每平台的启动配置。 torchada 在导入时把 torch.cuda、cuda 设备字符串、NCCL 到 MCCL、CUDA Graph 到 MUSAGraph 等映射到 torch_musa,因此模型代码基本无需改写。 在 8 块 MTT S5000 上,上游融合 BF16 MoE、SwiGLU7 和 mHC 的 Triton 内核原样运行,仅把 BLOCK_SIZE_K 等启动参数改为 MUSA 取值。
单步时间的主要下降来自消除主机同步和把逐专家 Python 循环换成融合内核。 逐专家的 .item() 改为一次 tolist() 后,SP8 下每步从 12.2 秒降到 8.8 秒;用 MATE 分组 GEMM 替换逐专家循环后,单次投影从 21.9 毫秒降到 0.69 毫秒。 在 8 块 MTT S5000 上,融合 W13 与 SwiGLU7 的 Triton 内核使每步首次低于 1 秒,从 1464 毫秒降到 954 毫秒,基线取自一次 20 步运行。
最后一轮改动把 W13 的 gate 与 up 累加器拆成两块半宽 tile,让 SwiGLU7 收尾在寄存器上完成。 原内核把交错的 gate 与 up 行累加进同一块 FP32 共享内存 tile,收尾从该 tile 读取,限制了每个 MP 上常驻的程序数。 在同一会话内交替运行对照与候选,8 块 MTT S5000、SP8×CFG1+EP4、272p、100 步、静态编译下,每步从 690.8 毫秒降到 590.4 毫秒,降幅 14.5%,四次运行输出哈希完全一致。
启示与展望
已演示的范围是 8 块 MTT S5000 上的 272p 文生音视频与图生音视频,其中图生音视频只生成了样本、尚未做基准测量;540p 只在计时会话之外测过,1080p 精修阶段以 #8915 草案形式存在,272p 不执行该阶段。
不同段落使用不同代码树和会话,绝对数字只在同一段内比较,565 毫秒与 670 毫秒之间不主张差值;无专家并行与 EP8 两种配置各只测一次,只有 EP4 有运行间波动证据;仅含已合并 PR 的主干尚未在 MUSA 上完整测量。
