跳到主要内容
检索

# 混合精度量化

3 篇关联报道

订阅更新
  1. researchsquare.com

    混合精度量化不再整层一刀切:A2BQ按注意力敏感度分块配比特,TinyLlama困惑度降到7.884

    大模型量化通常给整层统一比特宽度,忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分,在5.7比特平均预算下分配4/6/8比特,再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上,注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐,但运行时显存仍接近FP16,因为参考实现先把量化权重反量化成浮点缓冲再计算。

  2. arXiv

    MoE 权重精度要算两笔账:存一个 4.27 bpw 副本,按工作负载读 2.9 bpw 仍接近 4 比特格式

    混合专家模型的权重精度其实有两笔开销,存储一笔、解码一笔;DuoRate 只存一个 4.27 bpw 的副本,再按每个工作负载自己的预填充统计挑读取前缀,在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分,接近 4 比特格式。

  3. ACM Computing Surveys

    面向语言模型的混合精度量化:技术综述与前景展望

    这篇综述系统梳理了面向语言模型的混合精度量化框架(MXPLMs),先回顾量化基础(均匀与非均匀量化器、量化粒度、训练后量化方法),再按比特分配策略以及权重、激活与键值缓存的精度配置对近期框架进行分类比较,并对比早期深度神经网络混合精度方法,指出可迁移的策略与在语言模型场景中面临挑战的策略,最后总结硬件感知设计、激活量化与十亿参数级模型可扩展优化等开放问题。

已读完全部报道