跳到主要内容
检索

# 端侧混合专家模型推理

1 篇关联报道

订阅更新
  1. arXiv

    30B级MoE模型挤进16GB显卡:CECAR把专家缓存状态写进路由,解码达12.5 tokens/s

    CECAR把专家缓存驻留状态和预测的逐出优先级一起纳入MoE路由,让不在显存中的专家更少被请求。此前缓存感知路由只看专家是否在缓存中,容易造成路由不稳定;在Qwen3-30B-A3B上,CECAR在16 GB显存、约1 GB主机DRAM、非驻留专家从SSD读取的条件下达到12.5 tokens/s,相对常规MoE推理提速4.5倍,并高于把全部专家常驻系统DRAM的基线。

已读完全部报道