ASDL把卷积网络系数压到平均约1.5个有效位:ImageNet精度从81.3%降到80.41%,无需重训
核心概要
卷积网络推理的主要开销来自乘加,而乘加可拆成若干移位相加,其数量由系数中二进制有符号幂次(SPT)的个数决定。ASDL把此前逐个填入SPT的贪心近似改为一次填入一整层比特平面,在ResNet50最长系数向量上的转换速度超过MPGBP,同时保持更低的近似误差。把该方法用于预训练卷积网络系数后,平均每个系数仅约1.5个有效位,ImageNet精度从81.3%降到80.41%,且不需要重训练或校准。
深度剖析
卷积网络推理的乘加可以改写成移位相加,所需移位次数等于乘数系数中二进制有符号幂次的个数,因此压低这一计数就能直接削减计算量。 此前的做法是逐个挑选并填入单个有符号幂次,每轮都要在残差向量里找最大绝对值,迭代次数随目标计数增长。 在NVIDIA A100上,以ResNet50最长的系数向量为基准,该向量含512条、每条4608个参数,bfloat16格式,每次转换重复100次计时,ASDL的转换速度快于MPGBP。
ASDL每一轮不再只放一个幂次,而是把同一指数上的所有位置一次性写入,相当于整列填满一层比特平面。 这一改动把每轮的定位操作从单点最大值的反复搜索,变成按指数分组后对候选位置做一次部分排序,并在超出预算时只保留幅值最大的那些位置。 算法复杂度为 ,若允许低于目标计数分配,还可去掉候选削减步骤,进一步降到 $O(n)$。
把ASDL用于预训练卷积网络的系数后,模型在ImageNet上的精度只从81.3%降到80.41%,平均每个系数约1.5个有效位。 这一精度是在不做任何重训练或校准的前提下取得的,而通常最激进的量化方法需要这两步。 测试覆盖ResNet、ShuffleNet与EfficientNet等公开预训练架构,系数与激活用bfloat16表示,近似只作用于系数、不作用于偏置。
启示与展望
演示范围是ImageNet图像分类上的后训练系数近似,覆盖ResNet、ShuffleNet与EfficientNet等公开预训练模型,系数与激活用bfloat16表示,近似只施加于系数而不施加于偏置。作者把在更多网络架构与应用上测试该方法列为后续方向。
3.33倍的复杂度下降是作者在移位相加实现、原始系数24位精度等假设下给出的估计,并非实测硬件结果。EfficientNet中的squeeze-excite与SiLU涉及动态值之间的乘法,在当前提前做向量近似的方案下无法完全转为无乘法设计。作者还指出,模型越大对降低有效位似乎越耐受,在相同设置下ShuffleNet输出已不连贯,而EfficientNet仍保持约70%精度。
