BeFit把模型容量从权重挪到Bernstein激活:投影后卷积不再需要乘法,精度只比MLPerf Tiny参考低1.0个百分点
在只有几百KB内存、缺少硬件乘法器的微控制器上,神经网络推理的乘法开销一直是部署瓶颈。BeFit把模型容量从权重转移到可学习的Bernstein多项式激活上:先用硬件感知架构搜索和知识蒸馏得到紧凑网络,再把卷积权重投影到无乘法编码并冻结,靠激活曲线补回精度损失。在TI CC3220SF上,投影后的BeCNN平均只损失0.8个百分点,同架构ReLU网络损失2.4个百分点;相对MLPerf Tiny的DS-CNN参考模型,未投影的BeCNN精度高1.0个百分点、延迟低2.2倍、闪存少6.4倍,投影后模型精度落在参考模型1.0个百分点以内、运行快5.9倍。