量化张量程序不再逐格式手写内核:一套算法与调度库生成347个内核,覆盖GGML缺的38对格式
核心概要
GGML 这类张量库要为每种权重格式、激活格式和指令集手写内核,在作者测试的 Arm CPU 上,GGML 运行的 54 个权重–激活对里只有 8 个有分块矩阵乘内核。作者把 Halide 的算法与调度分离扩展到数值表示:用编解码器描述量化格式,新增 approximate_by 指令把编码器和解码器变成可调度的普通阶段。一套矩阵乘算法和一套调度库生成了 347 个内核,覆盖 GGML 与 KleidiAI 的 31 种格式,其中 38 个权重–激活对 GGML 没有对应内核。
深度剖析
量化格式的编码与解码现在可以作为普通计算被调度,而不必为每种格式手写内核。 GGML 的这类组合由手工编写,作者统计其格式相关代码为 16111 行非空非注释行(含 KleidiAI 内核),即便如此,54 个 CPU 权重–激活对中只有 8 个具备分块内核,其余一次只算一个块点积。 一套矩阵乘算法加一套调度库生成 347 个内核,覆盖 31 种格式,并覆盖 38 个 GGML 没有内核的权重–激活对,且不需要额外的调度代码。
格式被拆成可复用的编解码单元,编码器和解码器由同一份组合产生,因此两侧不必手工对齐。 编解码器由量化器、整数表示、位打包器和布局等单元组合而成,新增的 approximate_by 把一个编解码器插到某个计算阶段之前,并把编码器与解码器作为普通阶段返回,权重可离线编码、激活在核内编码、两个解码器内联进矩阵乘的寄存器块。 在 Apple M3 Max 上,对 GGML 有专用内核的情形,这些内核在 91.0% 的用例中达到 GGML 速度的至少 95%,中位加速 1.13;把 GGML 调用 Accelerate 的路径也算作 GGML 时,CPU 用例中仍有 86.9% 达到该阈值。
可选的往返律把格式的一致性变成可测试的性质,并据此改动了 q8_1 的块和。 往返律要求解码后再编码能复现原编码;按此检查,GGML 的 q8_1 在正态分布输入上有 25–27% 的块在解码再编码后发生变化,且存在整数与尺度相同而块和不同的两个块。 原因是 GGML 先用未舍入的尺度算块和、再把尺度舍入到 f16 存储;新的组合先舍入尺度、再由存储的尺度与整数导出块和,这是相对 GGML 字节的唯一有意偏离。
启示与展望
演示范围是 Arm CPU 与 Apple GPU 上的矩阵乘内核,以及一次 x86(Intel AMX)移植;测的是内核而非端到端推理,且只在一台 M3 Max 和一台 x86 工作站上计时。作者指出,对较大的 f32 矩阵乘,GGML 可以反量化权重后调用 Apple 的 BLAS 库 Accelerate,该路径通常快于这些内核。
往返律是可选的,K 量化的搜索式编码器不满足它,q8_K 与 qai8dx 的尺度只能往返到 1–2 ulp;误差界由人工推导并测试,编译器既不推断也不检查。作者还列出若干仍低于 GGML 速度的用例,原因归于调度、Halide 代码生成或运行时,而非表示本身。
