跳到主要内容
返回时间线
Hugging Face Blog来源发表:

180B参数模型塞进32GB笔记本:专家流式加载让Transformers解码只落后Strata约6%

核心概要

在32GB统一内存的MacBook M5上,通过Transformers的专家流式加载运行Qwen3.8-Flash-Next,把121GB的专家权重按需从SSD读入一个固定大小的设备缓存,解码速度达到13.9 tok/s,与Strata的14.8 tok/s相差约6%,预填速度228 tok/s略高于Strata的220 tok/s。此前的Transformers+Accelerate路径在Qwen3.6-35B-A3B上只有0.16 tok/s,因为它按层整块搬运专家。

AI-generated editorial illustration: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

深度剖析

MoE模型不必整体装进显存或统一内存,只把路由器选中的专家从磁盘流式读入一个共享缓存,就能在32GB笔记本上跑起180B级模型。 此前的Transformers经Accelerate卸载时,一个MoE层被当作一个模块整体搬到GPU,每个token都要复制该层全部专家,在Qwen3.6-35B-A3B上单卡A10G解码只有0.16 tok/s。 在同一台M5、同一组提示词下,最终版本解码13.9 tok/s对Strata的14.8 tok/s,预填228 tok/s对220 tok/s,6K文档后解码12.4 tok/s对13.7 tok/s。

关键做法是把缓存做成槽池:一块预分配的设备张量由所有层共用,每层维护一张专家编号到槽位的表。 最初用Python循环逐个专家计算,即使全部命中缓存也只有10.1 tok/s,而原生Transformers约32 tok/s,瓶颈在循环而不在磁盘读取。 在能完整放入内存的OLMoE-1B-7B上,槽池版本达到34.6 tok/s,原生Transformers为38.1 tok/s。

路由器编号重映射到槽位后,缓存池看起来就是普通专家矩阵,可以直接调用grouped_mm,无需自写专家矩阵乘。 该实现以from_pretrained的experts_offload选项形式进入huggingface/transformers#50717,专家映射到disk时跳过张量加载并切换到流式实现。 未命中由8个I/O线程按专家逐个连续读取,并提前运行下两层路由器预取;专家可离线量化为3比特,49GB落盘、12GiB驻留设备。

启示与展望

演示范围是一台32GB统一内存的MacBook M5,模型为Qwen3.8-Flash-Next,专家量化为3比特,对比对象是Strata 0.1.60,双方均关闭思考、MTP与投机草稿并使用1024 token预填分块。加载后占用约18GiB,6K提示词峰值25.4GiB,接近上限,需要关闭浏览器以免macOS换页。

作者明确表示约14 tok/s仍慢于其编码智能体的使用方式,剩余差距主要来自每token约10ms的主机往返,而PyTorch未暴露按层同步所需的原生算子;作者尝试用自旋内核模拟,GPU响应从一秒到始终看不到写入不等,因此未实现。API仍在与Transformers维护者讨论,量化专家可能改走#50245的逐层量化方案。