量化张量程序不再逐格式手写内核:一套算法与调度库生成347个内核,覆盖GGML缺的38对格式
GGML 这类张量库要为每种权重格式、激活格式和指令集手写内核,在作者测试的 Arm CPU 上,GGML 运行的 54 个权重–激活对里只有 8 个有分块矩阵乘内核。作者把 Halide 的算法与调度分离扩展到数值表示:用编解码器描述量化格式,新增 approximate_by 指令把编码器和解码器变成可调度的普通阶段。一套矩阵乘算法和一套调度库生成了 347 个内核,覆盖 GGML 与 KleidiAI 的 31 种格式,其中 38 个权重–激活对 GGML 没有对应内核。