跳到主要内容
检索

# 权重量化

2 篇关联报道

订阅更新
  1. LMSYS Org

    Humming 0.1.18 接入 SGLang:同一 A16 精度下,长上下文预填充比 Marlin 快 1.07–1.23 倍

    Humming 0.1.18 把低比特量化内核接入 SGLang 的 MoE 推理路径,覆盖更多量化格式与 Hopper、Blackwell 两类 GPU,并新增共享的激活表达式接口。在 DeepSeek-V4.1-Flash-1017 的测试长上下文场景中,相同 A16 精度下预填充比 Marlin 快 1.07–1.23 倍;解码端在 EP1、A16 下相对 Marlin 从并发 1 时低 2.89% 到并发 64 时高 7.65%。这些端到端结果只覆盖该检查点与 H20-3e 环境。

  2. arXiv

    量化张量程序不再逐格式手写内核:一套算法与调度库生成347个内核,覆盖GGML缺的38对格式

    GGML 这类张量库要为每种权重格式、激活格式和指令集手写内核,在作者测试的 Arm CPU 上,GGML 运行的 54 个权重–激活对里只有 8 个有分块矩阵乘内核。作者把 Halide 的算法与调度分离扩展到数值表示:用编解码器描述量化格式,新增 approximate_by 指令把编码器和解码器变成可调度的普通阶段。一套矩阵乘算法和一套调度库生成了 347 个内核,覆盖 GGML 与 KleidiAI 的 31 种格式,其中 38 个权重–激活对 GGML 没有对应内核。

已读完全部报道