跳到主要内容
检索

Chloe Wong

1 篇关联报道

订阅更新
  1. arXiv

    MIAO 让累加器逐行变窄:MX 脉动阵列面积最多省 38.7%,困惑度只多 1.06%

    MIAO 把 MX 量化脉动阵列的浮点累加精度从全阵列统一改为按行分配,并联合选择乘积精度,在端到端困惑度约束下搜索面积与能耗最低的配置。相对全 BF16 中间运算基线,MXFP8、MXFP6、MXFP4 下处理单元阵列面积最多减少 38.7%、每次运算能耗最多减少 36.1%;相对仅量化操作数的 MX 基线,额外困惑度退化最多 1.06%。在 TinyLlama 上选出的配置不经重新调参用于另外五个模型,额外困惑度退化最多 1.6%。

已读完全部报道