跳到主要内容
检索

# MoE专家流式加载

1 篇关联报道

订阅更新
  1. Hugging Face Blog

    180B参数模型塞进32GB笔记本:专家流式加载让Transformers解码只落后Strata约6%

    在32GB统一内存的MacBook M5上,通过Transformers的专家流式加载运行Qwen3.8-Flash-Next,把121GB的专家权重按需从SSD读入一个固定大小的设备缓存,解码速度达到13.9 tok/s,与Strata的14.8 tok/s相差约6%,预填速度228 tok/s略高于Strata的220 tok/s。此前的Transformers+Accelerate路径在Qwen3.6-35B-A3B上只有0.16 tok/s,因为它按层整块搬运专家。

已读完全部报道