跳到主要内容
返回时间线
arXiv来源发表:

MIAO 让累加器逐行变窄:MX 脉动阵列面积最多省 38.7%,困惑度只多 1.06%

核心概要

MIAO 把 MX 量化脉动阵列的浮点累加精度从全阵列统一改为按行分配,并联合选择乘积精度,在端到端困惑度约束下搜索面积与能耗最低的配置。相对全 BF16 中间运算基线,MXFP8、MXFP6、MXFP4 下处理单元阵列面积最多减少 38.7%、每次运算能耗最多减少 36.1%;相对仅量化操作数的 MX 基线,额外困惑度退化最多 1.06%。在 TinyLlama 上选出的配置不经重新调参用于另外五个模型,额外困惑度退化最多 1.6%。

Source-provided article image: MIAO: Microscaling Intermediate Accumulation Optimization
arXiv

深度剖析

MX 量化只压缩了乘数与被乘数的位宽,乘积和部分和仍按 BF16 等宽浮点累加,这部分开销此前没有被操作数量化触及。 在评估的基线设计中,累加占处理单元面积的一半以上,最高占处理单元能耗的 54%;在 MX 操作数配 BF16 中间运算的基线里,BF16 累加约占处理单元阵列面积的 65%。 这些占比来自对参数化处理单元的逻辑综合与门级功耗分析,工艺为 16 纳米,并据此建立面积与能耗模型。

权重固定型脉动阵列的每一行对应一个累加级,因此可以给靠前的行配窄累加器、靠后的行配宽累加器,而不必全阵列统一精度。 常规设计在整个阵列使用同一种累加器格式,尽管部分和幅值随累加深度增长:MXFP8 下最大观测幅值从第一次加法后的 8 增长到第十五次后的 23.93。 该幅值分布由 67 个线性层、16 个评估样本的量化操作数仿真得到,累加器格式按行独立配置。

搜索把综合得到的硬件成本模型与一个校准过的困惑度预测器结合,先用预测筛出候选,再用位精确的端到端大模型评测确认是否满足约束。 逐配置穷举端到端评测代价高昂;在 MXFP8 上,用 11 条累加阶梯拟合的损失模型预测 319 条未见阶梯,困惑度均方根误差为 0.0066,低于配对运行的 0.0085 标准误。 位精确算术模拟器在 MXFP8 的 65,536 个元素上与硬件算术输出逐位一致,最终配置由端到端评测认证。

启示与展望

演示范围限于权重固定型脉动阵列,阵列规模为 16×16、32×32 和 64×64,硬件成本由 16 纳米工艺、2 纳秒时钟下的综合模型估算,精度以 WikiText-2 上的困惑度为约束,并在 TinyLlama 与另外五个模型上评测。作者提出的后续方向是跨模型校准,以及把优化扩展到其他加速器架构和工作负载。

作者明确说明,在 TinyLlama 上得到的精度约束迁移到其他模型时不保证成立;MXFP4 相对 BF16 的总困惑度退化主要来自操作数量化。搜索的穷举对照只在受限精度空间内进行,最优性认证也仅在该受限空间内成立。