180B参数模型塞进32GB笔记本:专家流式加载让Transformers解码只落后Strata约6%
在32GB统一内存的MacBook M5上,通过Transformers的专家流式加载运行Qwen3.8-Flash-Next,把121GB的专家权重按需从SSD读入一个固定大小的设备缓存,解码速度达到13.9 tok/s,与Strata的14.8 tok/s相差约6%,预填速度228 tok/s略高于Strata的220 tok/s。此前的Transformers+Accelerate路径在Qwen3.6-35B-A3B上只有0.16 tok/s,因为它按层整块搬运专家。