跳到主要内容
返回时间线
LMSYS Org来源发表:

Humming 0.1.18 接入 SGLang:同一 A16 精度下,长上下文预填充比 Marlin 快 1.07–1.23 倍

核心概要

Humming 0.1.18 把低比特量化内核接入 SGLang 的 MoE 推理路径,覆盖更多量化格式与 Hopper、Blackwell 两类 GPU,并新增共享的激活表达式接口。在 DeepSeek-V4.1-Flash-1017 的测试长上下文场景中,相同 A16 精度下预填充比 Marlin 快 1.07–1.23 倍;解码端在 EP1、A16 下相对 Marlin 从并发 1 时低 2.89% 到并发 64 时高 7.65%。这些端到端结果只覆盖该检查点与 H20-3e 环境。

Source-provided article image: Humming in SGLang: Flexible Low‑Bit Kernels for Efficient MoE Serving
LMSYS Org

深度剖析

低比特 MoE 推理现在可以在 SGLang 里走 Humming 的专用内核,而路由、调度和分布式执行仍由 SGLang 负责。 此前低比特检查点要落到具体内核,需要针对格式和硬件分别准备执行路径;Humming 把量化数据的表示与执行策略分开,兼容格式共用数据搬运、反量化、矩阵乘和输出处理组件。 在 DeepSeek-V4.1-Flash-1017 上,相同 A16 精度下 Humming 的预填充比 Marlin 快 1.07–1.23 倍,测试覆盖 4K 到 1016K 的长上下文输入。

模型加载时一次性把权重整理成统一模式,推理时再按设备和形状即时编译出对应的 GEMM。 配置分成三层:LayerConfig 描述形状、数值格式、量化和存储布局,ComputeConfig 描述稠密、索引或分组执行与累加语义,TuningConfig 选择分块形状、数据传输、流水级数和调度。 在八块 H20-3e、TP8、预填充 CP8 交错、16K 分块和 DSpark 块大小 5 的设置下,相同 A16 精度时 Humming 的路由专家 GEMM 累计内核时间在 4K、128K、1016K 三个长度上比 Marlin 少 31.6–32.4%。

Hopper 路径让权重在全局和共享内存中保持四比特打包,只在 Tensor Core 计算前于寄存器里重建 FP8 操作数。 每个 UE8M0 组尺度被分解为基尺度与残差指数,基尺度按专家和子层保留,残差指数按组编码,避免在内存中物化八比特权重张量。 该路径在 E4M3 下支持 11 的指数跨度而无需尺度范围调整;0.1.18 在 TP8/EP1 的加载检查中,有效目标组出现尺度范围调整的比例为 0%,有效草稿组为 11.27%,主要来自填充尺度影响草稿的范围选择。

启示与展望

已展示的范围是八块 H20-3e、TP8、预填充 CP8 交错、16K 分块、DSpark 块大小 5 的 DeepSeek-V4.1-Flash-1017 服务测试,目标与草稿使用同一 MoE 后端,稠密层保留原生 FP8 路径、专家权重为 MXFP4。Blackwell 部分只描述架构支持,所有实测结果均在 Hopper H20-3e 上取得。后续计划包括自动调参、扩展至 Rubin Locality Domains、平头哥 Zhenwu M890 及更多 CUDA 兼容加速器,并把端到端覆盖扩展到 B300 部署。

报告明确指出这些质量结果只描述所评估的配置,不构成一般性的精度等价或 1016K 性能点上的质量结论。EP8 对比中 FlashInfer 在全部六个测量长度上的中位 TTFT 都更低,差距随输入变长而收窄。Humming AFP8 在 EP8 下相对 FlashInfer AFP8 的吞吐在并发 1 和 32 时分别高 4.25% 和 0.34%,并发 64 时低 1.51%。报告环境固定 Humming 0.1.18,0.1.19 尚未针对这些结果验证。