跳到主要内容
检索

# 存内处理

1 篇关联报道

订阅更新
  1. arXiv

    CHARMING把注意力头分给张量阵列与DRAM内计算:预填充提速23.6%,解码提速44%

    边缘设备上的Transformer推理长期受限于权重与中间结果在内存和计算单元之间的搬运。CHARMING把同一层注意力里的头拆分到AI Engine张量阵列与DRAM内计算单元上并发执行,并按精度与量化约束选择哪些头下放;在VCK5000与Alveo U200搭建的验证平台上,相对仅用AIE的CHARM,预填充性能最高提升23.6%,解码最高提升44%,定点内存计算下每层能耗最多降低7.6%,能量延迟积最多改善24.7%,精度与32位浮点基线相近。

已读完全部报道