CHARMING把注意力头分给张量阵列与DRAM内计算:预填充提速23.6%,解码提速44%
边缘设备上的Transformer推理长期受限于权重与中间结果在内存和计算单元之间的搬运。CHARMING把同一层注意力里的头拆分到AI Engine张量阵列与DRAM内计算单元上并发执行,并按精度与量化约束选择哪些头下放;在VCK5000与Alveo U200搭建的验证平台上,相对仅用AIE的CHARM,预填充性能最高提升23.6%,解码最高提升44%,定点内存计算下每层能耗最多降低7.6%,能量延迟积最多改善24.7%,精度与32位浮点基线相近。