30B级MoE模型挤进16GB显卡:CECAR把专家缓存状态写进路由,解码达12.5 tokens/s
核心概要
CECAR把专家缓存驻留状态和预测的逐出优先级一起纳入MoE路由,让不在显存中的专家更少被请求。此前缓存感知路由只看专家是否在缓存中,容易造成路由不稳定;在Qwen3-30B-A3B上,CECAR在16 GB显存、约1 GB主机DRAM、非驻留专家从SSD读取的条件下达到12.5 tokens/s,相对常规MoE推理提速4.5倍,并高于把全部专家常驻系统DRAM的基线。
深度剖析
CECAR让显存受限的设备也能以可用速度运行30B级MoE模型,非驻留专家改从SSD读取,而不是要求全部专家权重常驻内存。 常规MoE推理严格跟随路由器打分,缓存未命中的专家必须从低速存储调入,专家加载主导每token延迟;此前缓存感知路由只依据专家是否在缓存中的二值信号。 在Qwen3-30B-A3B上,CECAR于16 GB显存、约1 GB主机DRAM、缓存每层24个专家的设置下达到12.5 tokens/s,相对常规MoE推理提速4.5倍,也高于把约56.7 GB专家参数全部常驻系统DRAM、达到7 tokens/s的基线。
路由阶段同时考虑缓存驻留和专家复用倾向,把选择偏向已在显存中的专家,同时保留原路由器的语义排序。 此前的剪枝方法按路由权重丢弃专家,被保留的专家仍可能不在缓存中而需要从SSD读取;CECAR改为在路由选择时跳过未驻留的低优先级专家。 在Qwen3-30B-A3B上,DES和ODP平均激活的专家数(4.67和4.71)少于CECAR(7.13),解码速度却只有4.7至5.0 tokens/s,对应缓存命中率约70%至73%,而CECAR为96.6%。
一个轻量学习型缓存策略为每个专家预测逐出优先级,其分数作为奖励项进入路由,使缓存替换与专家选择一起优化。 LRU、LFU等启发式策略捕捉不到跨token的非线性专家复用模式;FlashMoE的学习型策略在分布外负载和小缓存下会低于LRU。 在TriviaQA上,CECAR的学习型策略在缓存大小为24时命中率为73.63%,LRU为69.49%;在HumanEval、MBPP、GPQA-Diamond、MATH-500上分别为68.37%、69.31%、73.73%、69.63%,均高于LRU的65.50%、65.26%、70.86%、66.04%。
启示与展望
结果来自三个代表性MoE模型和四个标准基准,测试台是显存受限的桌面GPU加SSD卸载、主机DRAM限制在约1 GB,而非手机或平板级SoC;准确率与吞吐分别在不同测量路径上取得。
在差异较大的模型架构、负载或硬件平台上性能可能变化;更低带宽的移动存储上收益是否保持或放大尚未验证;命中率的多随机种子方差、对阈值的敏感性以及训练数据规模消融仍待报告。
