跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

cuBLAS把双精度乘法搬上整数张量核:DGEMM最高快5.5倍,CCSD端到端快2倍

核心概要

NVIDIA在CUDA Toolkit 13.4.2的cuBLAS中引入Ozaki-II与2M两种算法,把64位浮点矩阵乘法拆成整数片段、在Tensor Cores上相乘后精确重组,使DGEMM与ZGEMM无需改动应用代码即可加速。在VR NVL72与GB200上,Ozaki-II的DGEMM分别比原生FP64快5.5倍和3.9倍;量子化学CCSD算例端到端分别快2倍和1.4倍,且全精度结果与原生FP64不可区分。

深度剖析

cuBLAS在CUDA Toolkit 13.4.2中让双精度稠密矩阵乘法不再必须在精度与速度之间取舍,DGEMM和ZGEMM都能自动走整数张量核路径,应用代码无需修改。 此前这类计算直接使用GPU的原生FP64单元,而低精度硬件的快速进步促使人们探索在更快的整数Tensor Cores上给出完整双精度结果。 在VR NVL72和GB200上,采用Ozaki-II的cuBLAS DGEMM分别比原生FP64快5.5倍和3.9倍,在GB200上还比Ozaki-I快2倍。

做法是把每个双精度数按指数对齐后拆成共享指数的变长整数,在整数张量核上精确累加乘积,再重组出原结果。 Ozaki-II改用基于中国剩余定理的大整数乘法:把量化后的操作数对一组两两互素的小整数取模,每个模数只做一次整数GEMM,再由余数重建精确乘积。 要达到匹配FP64所需的精度,Ozaki-I大约需要Ozaki-II两倍的张量核GEMM次数,因为Ozaki-I的GEMM数随切片数平方增长,而Ozaki-II随模数个数线性增长。

复数矩阵乘法也一并加速:2M算法把一次复数乘法从四次实数GEMM降到两次,使ZGEMM的开销约为同尺寸实数GEMM的两倍而非四倍。 常规做法用四个同尺寸实数GEMM计算复数乘积,3M算法虽减到三个,但在浮点运算中会因构造和式与重建中间积而损害数值稳定性。 在整数精确运算下加减与乘积都不引入误差,GB200上采用2M的ZGEMM比原生复数FP64快5倍,BerkeleyGW算例在VR NVL72和GB200上分别快6.6倍和3.9倍。

启示与展望

演示范围是CUDA Toolkit 13.4.2的cuBLAS在VR NVL72、GB200与RTX PRO 6000上的DGEMM和ZGEMM,以及量子化学CCSD与材料科学BerkeleyGW两个应用算例;CCSD算例为冻结芯CCSD/cc-pVTZ,取自S22数据库中五个含24至28个原子、约590至630个原子轨道的中等体系。

性能增益的上限取决于GPU整数张量核吞吐相对原生FP64单元的比例,该比例在产品线间差异很大;在最小矩阵尺寸上ADP判定Ozaki-II无优势并转回原生FP64。32位尾数的定点模式误差小于10^-10 Eh,适用于绝大多数实际应用,但并非全精度;全精度模式下CCSD相关能误差小于10^-14 Eh。BerkeleyGW的精度对照为Epsilon矩阵元在小数点后10位内一致。