跳到主要内容
检索

# 训练后量化

16 篇关联报道

订阅更新
  1. arXiv

    SAM 3 压到 4 比特后不再认错目标:SPQ 把 RefCOCO 命中率从 42.1 拉回 72.5

    把 SAM 3 的图像编码器权重量化到 4 比特、激活保持 8 比特后,模型常出现“提示对齐漂移”:掩码看着合理,却圈错目标或在视频中丢失同一对象。SPQ 在离线校准阶段给影响文本概念分数的参数更高权重、约束低方差残差方向上的特征误差,并用成对视频推演估计记忆接口的均值偏移后折入已有偏置。在 W4A8 设置下,RefCOCO Pr@0.5 由 PTQ4SAM 的 42.1 升到 72.5,同时保留 54.8 COCO mask AP,推理图不增加算子。

  2. arXiv

    Dory1.0-4B把推理算力放进循环层:同一份权重多跑几圈,12项基准均分从35.2升到40.6

    Dory1.0-4B 是一个 40 亿参数的循环式语言模型,同一份检查点可在推理时改变共享循环块的执行次数,从而按请求调节算力。它在 6 万亿 token 上预训练,前 4.5 万亿 token 用 NVFP4 训练,随后把上下文扩展到 256K,并用 SFT 与 RLVR 后训练。在 12 项基准的等权平均上,它从一圈的 35.2 升到两圈的 39.7、四圈的 40.6,两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。

  3. aclanthology.org

    FOM-UL只改少数层做遗忘:4比特量化下残余记忆仍低于全模型更新基线,保留集效用更高

    大模型遗忘不必再对全模型做弥散更新。FOM-UL按每层遗忘集梯度范数与保留集梯度范数之比给层打分,只更新得分高的少数层,遗忘不达标时再逐层扩大。在TOFU、KnowUnDo与MUSE式评测上,它比GA、NPO、KLD等基线留下更少的残余记忆,保留集效用接近原模型;在8比特与4比特训练后量化下,它保持有利的遗忘—效用权衡,但4比特下残余记忆相对全精度确有上升。

  4. aclanthology.org

    多模态量化不再让文本压过视觉:共享变换把两路梯度拧成一个方向,W4A6下32B模型平均66.51

    多模态大模型做低比特量化时,文本与视觉令牌要在同一个通道变换上学习,两路梯度方向相反或量级悬殊,会互相拖累。MCTQ把重建目标按模态拆开,再用最小范数凸组合把两路梯度合成一个更新方向,全程只保留一个共享变换、不增加推理开销。在Qwen2.5-VL-7B的W4A6设置下平均准确率66.26,比OmniQuant高1.30分;Qwen2.5-VL-32B同设置下为66.51。

  5. arXiv

    大模型查表记忆压到两比特:DeepSeek表从203GB降到51GB,预填提速近五倍

    条件记忆让语言模型靠查表扩充容量,但整张嵌入表必须常驻,DeepSeek的表就有203 GB。Conditional Program把每行压成短码加局部尺度,用全表共享的高斯网格重建,只解码当前输入请求的行;两比特下存储缩小约四到八倍,多数任务分数接近原值,输出KL比两比特最近舍入低41–63%。

  6. arXiv

    5美元芯片跑开放词表语音识别:13M参数模型留在闪存,同芯片上错误数比厂商方案少1.8–2.8个

    Oído把开放词表英语语音识别整体放到一块5美元的ESP32-S3上运行,该芯片没有神经加速器。此前这类微控制器只能做关键词唤醒或固定命令表,而13M参数的Conformer-CTC模型在int8下占14.0 MB,既装不进512 KB片上SRAM,也只能部分放进PSRAM。引擎按闪存与PSRAM带宽安排执行顺序,在LibriSpeech test-clean/test-other上得到3.70%/8.23%的词错误率,与全精度相差0.12个百分点以内,在同一芯片上错误数比厂商识别器少1.8–2.8个;实测单核运行时间为音频时长的1.97倍,尚不是实时。

  7. arXiv

    4比特推理不再需要校准数据:权重误差最小化顺带给出激活缩放,MX与NV格式上追平SmoothQuant

    低比特推理要同时量化权重和激活,而激活量化通常依赖校准数据。DualQuant把权重重建误差最小化写成带格式约束的非凸问题,用块坐标下降求闭式解,得到的列缩放同时充当激活缩放。在Llama与Qwen的四种4比特格式上,它无需校准数据即可追平或超过基于校准的SmoothQuant,并明显优于免校准基线,在MX与NV块格式上优势最大。

  8. arXiv

    DRQ 在固定量化网格上最小化最坏情况重建损失,使六种 PTQ 方法量化的 LLM 困惑度与下游准确率同时改善且不增加推理开销

    作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现,甚至可能在同一校准数据上变差;他们据此提出 DRQ,在受限的输入激活分布集合上最小化最坏情况重建损失,仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变,在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率,且不增加推理开销。

  9. arXiv

    OSFP4 联合优化对角平滑与分块缩放,在 Llama-3.1-8B-Instruct 上取得 77.03 的 W4A4 平均准确率并保留约 94-97% 的 NVFP4 预填充吞吐

    该工作提出 OSFP4:通过分析乘性抖动 FP4 量化器,得到可微的矩阵乘积量化误差近似,据此对每个线性投影联合优化对角平滑矩阵与权重分块缩放,并针对 RTN 或 GPTQ 式 SIC 舍入分别构造损失;在 Llama-3.1-8B-Instruct 上,W4A4 配置取得所评估方法中最高的平均准确率,同时保留约 94-97% 的厂商 NVFP4 预填充吞吐。

  10. arXiv

    SoloQ 用免校准旋转量化把扩散语言模型压到 4 比特,在 LLaDA、Dream、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上保持精度并超过需校准基线

    作者提出 SoloQ:用 K-RPBH 旋转把权重与激活映射到可预测的近似高斯分布,配合仅尺度偏差校正实现免校准 4 比特量化,并对块扩散模型在块提交时量化 KV 缓存;在 LLaDA-Base、LLaDA-1.5、Dream-7B、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上,SoloQ-C 与 SoloQ-N 在 W4A4 及 W4A4KV4 下保持精度,平均分超过 DLLMQuant++、STaR-Quant、FAIR-Calib 等需校准基线,NVFP4 路径还降低峰值内存并加速端到端推理。