跳到主要内容
返回时间线
arXiv来源发表:

PENSA 在 Alveo U50 上跑通 BitNet b1.58 2B4T:上下文 128 时达 58.09 tok/s,为同模型至强基线的 2.14–3.14 倍

核心概要

三元大模型把线性层权重压到三值,乘法换成符号控制的加减,瓶颈随之转向打包权重的搬运与归约。PENSA 在 AMD Alveo U50 现场可编程门阵列上端到端执行未经改动的 BitNet b1.58 2B4T,两个三元矩阵引擎直接从高带宽内存读取 TQ1_0 打包权重,每周期各处理 1280 个三值权重。在 104.1 MHz 下,双流交错调度让上下文 128 时达到 58.09 tok/s、上下文 2048 时达到 24.60 tok/s,为同模型 Xeon E-2356G 基线的 2.14–3.14 倍。

Source-provided article image: PENSA: A Spatial Accelerator for BitNet b1.58 Inference on an HBM-equipped AMD Alveo FPGA
arXiv

深度剖析

PENSA 让 20 亿参数级的 BitNet b1.58 2B4T 整条自回归推理留在单块 AMD Alveo U50 现场可编程门阵列上完成,模型结构不做任何改动。 此前三元推理的软件实现如 Bitnet.cpp 依靠查表与乘加 CPU 内核,现场可编程门阵列上的三元加速器则多采用查表矩阵乘、稀疏数据流或计算与存储协同设计,端到端直接执行打包权重的 BitNet b1.58 2B4T 较少被探索。 在 104.1 MHz 的后布线频率下,双流交错在上下文 128 与 2048 分别测得 58.09 与 24.60 tok/s,相当于同模型 Xeon E-2356G 基线的 2.14–3.14 倍。

权重以模型原生的 TQ1_0 三值格式留在高带宽内存里,每字节打包五个三值权重,对应每权重 1.6 比特的载荷。 两个三元矩阵引擎按输出行对半分工,各自从四条独立的高带宽内存伪通道取权重条带,再由定序器合并互补的输出行。 每个 512 位总线节拍携带两个 256 位 TQ1_0 块,每块编码 160 个三值权重,四条接口因此每周期向每个引擎送入 1280 个三值权重;编译期 256 项解码只读存储器把每个字节映射为五个三值控制信号,直接选出加、减或零。

双流交错让两个独立序列槽在常驻流水线上交替推进,一个槽占用词表投影时另一个槽可以继续走完 Transformer 层。 单流执行时各常驻单元之间存在空闲,交错调度把这种空闲填上。 在评估的各上下文长度上,交错把聚合吞吐提高到单流的 1.37–1.71 倍,但它并不分摊词表投影的权重流。

启示与展望

演示范围是单块 AMD Alveo U50 上未经改动的 BitNet b1.58 2B4T,覆盖上下文 128 到 2048 的解码吞吐、预填充时间、功耗与模型保真度;跨加速器数字只作架构定位,不是直接性能对比。

解码延迟随上下文强烈变化,上下文 2048 时依赖上下文的项约占建模延迟的 60%,其中注意力遍历占拟合的每键分量的 97.3%;预填充从 128 个 token 的 6.55 秒增至 2048 个 token 的 109.18 秒;256 与 512 上下文之间的吞吐局部非单调,现有测量未能分离这一偏差。