CHARMING把注意力头分给张量阵列与DRAM内计算:预填充提速23.6%,解码提速44%
核心概要
边缘设备上的Transformer推理长期受限于权重与中间结果在内存和计算单元之间的搬运。CHARMING把同一层注意力里的头拆分到AI Engine张量阵列与DRAM内计算单元上并发执行,并按精度与量化约束选择哪些头下放;在VCK5000与Alveo U200搭建的验证平台上,相对仅用AIE的CHARM,预填充性能最高提升23.6%,解码最高提升44%,定点内存计算下每层能耗最多降低7.6%,能量延迟积最多改善24.7%,精度与32位浮点基线相近。
深度剖析
CHARMING让同一层注意力里的不同头同时跑在两种计算基底上:一部分留在AI Engine阵列做张量运算,另一部分交给DRAM内的计算单元就地完成。 此前的CHARM只做一件事,把操作数的搬运与矩阵计算重叠起来,以压低数据移动对执行时间的影响,所有计算仍集中在AIE一侧。 在AMD Versal VCK5000与Alveo U200两块板卡组成的验证平台上,相对仅用AIE加速的CHARM,预填充性能最高提升23.6%,解码性能最高提升44%。
拆分依据是两类单元各自的成本曲线:归约深度浅、输出行数少的运算在内存里更快,归约深、计算密集的运算留在AIE阵列更划算。 按头切分本是Transformer层内的常规并行方式,但已有做法让每块设备执行相同的运算和相同的数据格式,没有利用不同基底在不同精度下的成本差异。 离线精度剖析在GSM8K上比较量化范围,只量化注意力时Llama-3.1-8B与FP32基线同为85.8%,Llama-2-13B和Mixtral-8x7B分别只损失0.9和1.5个百分点。
具体执行时,AIE侧一次GEMM同时产出两种格式的输出,交给内存计算的头被就地量化成N位整数写入独立内存区,其余头保持FP32,两边随后并发推进。 量化不再需要额外一趟数据搬运或重新配置比特流,内存计算单元直接在原址用行级DRAM命令完成乘加。 在VCK5000上测三种投影形状,把头改为N位精度带来的延迟变化低于0.6%;按剖析分数挑选头相比随机挑选,在Llama-3.1-8B和Llama-2-13B上把精度损失从5.0和5.3个百分点压到1.5和1.9个百分点。
启示与展望
验证范围是两块FPGA板卡经PCIe连到同一台x86主机组成的原型:AIE计算单元跑在VCK5000的VC1902上,内存计算单元跑在带软DDR4控制器的Alveo U200上,评测覆盖GSM8K上的Llama-3.1-8B、Llama-2-13B与Mixtral-8x7B,以及长序列的WAN 2.2与Qwen3-32B。
内存计算单元的性能与能耗由gem5-CIMD在HBM2上模拟得出,硬件只用于验证功能;模拟假设原生的Ambit式反相,而商品DRAM上的反相需借助相邻子阵列并经主机搬回,这部分开销被排除在报告数字之外。报告的性能也不含两块板卡分离带来的PCIe与主机内存中转开销。
