跳到主要内容
检索

Asim Kadav

1 篇关联报道

订阅更新
  1. arXiv

    把输出头做一次等价重参数化,Phi-4-mini 的 W4 AW-MSE KL 从 0.936 降到 0.256,并保住 10.8% 的批一延迟收益

    该工作提出 softmax 重参数化:在量化前从输出头每一行减去词表行均值的某个标量倍数,用验证集 KL 分别为 RTN、AW-MSE 和全 Hessian GPTQ 选择系数,在保持全精度 softmax 分布与解码器不变的前提下改善低比特输出头保真度,例如 Phi-4-mini 上 AW-MSE 的 W4 KL 从 0.936 降至 0.256,并在打包 W4 部署中把批一生成延迟相对 BF16 头基线降低 10.8%。

已读完全部报道