Atik 把矩阵乘与注意力压进同一块定点 MAC 网格:在 Rocket 核上注意力峰值加速 225.8 倍
核心概要
开源加速器 Atik 以 RoCC 方式挂在 RISC-V 的 RocketChip 核旁,用一块共享定点 MAC 网格同时执行稠密矩阵乘、注意力打分与概率-值累加,外部张量保持 BF16 接口。相对同一 Rocket 核上的 BF16 标量参考实现,88 配置在 FireSim 逐周期仿真中取得 31.5 倍矩阵乘峰值加速和 225.8 倍注意力峰值加速;ViT、TinyBERT、GPT-2 prefill 的 44.2、77.1、32.3 倍是混合投影,不是整模型硬件回放。
深度剖析
Atik 让一个紧耦合协处理器同时承担 Transformer 推理中最重的两类计算:稠密矩阵乘和注意力,而不是只加速其中一类。 此前的专用硬件多把注意力或 softmax 做成独立模块,或只针对单一窄操作,也有工作用架构级全系统仿真而非在 FPGA 上执行集成后的 RTL。 在 FireSim 逐周期仿真中,以同一 Rocket 核上的 BF16 软件参考为基线,88 配置的矩阵乘峰值加速为 31.5 倍、注意力峰值加速为 225.8 倍;137 条记录全部通过各自基准容差,报告的最大绝对差为 0.0625。
矩阵乘、QK 打分和概率-值累加共用同一块定点乘累加网格,注意力则按流式在线 softmax 推进,从不把完整打分矩阵写出来。 常规做法为每个算子单独配置数据通路,或先物化整张打分矩阵再做归一化,这会放大存储与数据搬运开销。 网格可配置为 4、16、64 条 MAC 通道,三种实例共用同一描述符 ABI 并运行同一批未修改的基准程序;软件只填一个 80 字节描述符并轮询状态字,分块、DMA、打包、数值转换与 softmax 记账都由硬件完成。
外部张量以行主序 BF16 进出,内部用 24 位有符号定点计算、64 位累加,指数与倒数由 256 项查找表实现。 多数同类设计采用 INT8 等量化或整数数据类型,或用查找表、2 的幂近似 softmax,数值取舍需要在工作负载层面评估。 这些转换与查找表都是近似,因此报告的是逐基准的绝对误差容差检查,而非逐位一致的 BF16 算术或任务级精度。
启示与展望
评估覆盖两个独立内核以及 ViT、TinyBERT、GPT-2 prefill 的单层 C 参考模型,性能数字来自 AWS F2 上 FireSim 的逐周期仿真,目标频率约 10 MHz;面积研究只针对 Sky130 上的独立 AtikCore,不含 RocketTile、ChipTop、布线收敛、时序、功耗与流片验证。
加速比是相对同一顺序执行的 Rocket 核测得的,该核没有 SIMD 或向量单元,因此绝对倍数部分反映标量流水线处理稠密 BF16 计算的低效;softmax 记账与最终归一化在单条标量通道上串行执行,打分块很大时这一区域会成为主要顺序开销;自回归解码阶段与 KV 缓存尚未加速。
