跳到主要内容
检索

# Softmax坍缩

1 篇关联报道

订阅更新
  1. arXiv

    Google DeepMind 改写 softmax 与交叉熵:高置信度下目标梯度不再归零,蒸馏学生不再漂离教师

    Google DeepMind 给出 log-softmax、softmax 与交叉熵的改写实现,修掉两个浮点数值缺陷:目标 logit 远大于其他 logit 时其梯度被舍入为零,以及学生与教师 logit 接近时概率相减丢失精度。改写把分母中的 1 移出求和、在 log 空间直接算概率差,使梯度在 bf16、fp32、fp64 下都保持精确且求和为零,并在 grokking 与软目标蒸馏实验中消除损失尖峰和学生漂移。

已读完全部报道