Humming 0.1.18 接入 SGLang:同一 A16 精度下,长上下文预填充比 Marlin 快 1.07–1.23 倍
Humming 0.1.18 把低比特量化内核接入 SGLang 的 MoE 推理路径,覆盖更多量化格式与 Hopper、Blackwell 两类 GPU,并新增共享的激活表达式接口。在 DeepSeek-V4.1-Flash-1017 的测试长上下文场景中,相同 A16 精度下预填充比 Marlin 快 1.07–1.23 倍;解码端在 EP1、A16 下相对 Marlin 从并发 1 时低 2.89% 到并发 64 时高 7.65%。这些端到端结果只覆盖该检查点与 H20-3e 环境。