BeFit把模型容量从权重挪到Bernstein激活:投影后卷积不再需要乘法,精度只比MLPerf Tiny参考低1.0个百分点
核心概要
在只有几百KB内存、缺少硬件乘法器的微控制器上,神经网络推理的乘法开销一直是部署瓶颈。BeFit把模型容量从权重转移到可学习的Bernstein多项式激活上:先用硬件感知架构搜索和知识蒸馏得到紧凑网络,再把卷积权重投影到无乘法编码并冻结,靠激活曲线补回精度损失。在TI CC3220SF上,投影后的BeCNN平均只损失0.8个百分点,同架构ReLU网络损失2.4个百分点;相对MLPerf Tiny的DS-CNN参考模型,未投影的BeCNN精度高1.0个百分点、延迟低2.2倍、闪存少6.4倍,投影后模型精度落在参考模型1.0个百分点以内、运行快5.9倍。
深度剖析
BeFit让微控制器上的卷积推理不再需要乘法:卷积权重被投影成只含加法和移位的编码,激活函数则变成一次查表读取。 此前的微控制器部署方案要么保留需要相乘的权重,要么把权重限制为三值或2的幂却仍用固定激活,受限权重只能独自承担精度损失。 在TI CC3220SF(Cortex-M4)上,权重投影让BeCNN平均加速2.2倍、精度损失0.8个百分点,而同架构ReLU网络损失2.4个百分点。
做法是把表达能力放到激活上:每个滤波器或每层拥有一条可学习的Bernstein多项式曲线,曲线在固定区间上取值,因此可以离线编译成定长查找表。 Bernstein多项式在固定区间上是系数的凸组合,输入被归一化到该区间后,曲线形状由系数直接控制,推理时只需一次表项读取,与多项式阶数无关。 在六个传感任务上,最终模型平均距其float32教师模型1.56个百分点;在RISC-V无乘法器内核的模拟中,相对DS-CNN的指令数缩减从Cortex-M4上的5.2倍增至147倍。
启示与展望
演示范围是六个传感任务(三个HAR数据集、Speech Commands关键词识别和UJIIndoorLoc室内定位)在TI CC3220SF板卡上的端到端部署,指令数由QEMU统计并与板卡单步计数核对;无乘法器的RISC-V结果来自模拟而非硅片。
int8分类器仍然做乘法,关键词变换器中的注意力乘积和softmax也保留乘法,占未投影模型乘加运算的20%至34%,限制了加速幅度;能耗尚未在板卡上测量,无乘法器RISC-V硅片和带向量扩展的Cortex-M核上的表现仍待验证。
