跳到主要内容
返回时间线
arXiv来源发表:

Google DeepMind 改写 softmax 与交叉熵:高置信度下目标梯度不再归零,蒸馏学生不再漂离教师

核心概要

Google DeepMind 给出 log-softmax、softmax 与交叉熵的改写实现,修掉两个浮点数值缺陷:目标 logit 远大于其他 logit 时其梯度被舍入为零,以及学生与教师 logit 接近时概率相减丢失精度。改写把分母中的 1 移出求和、在 log 空间直接算概率差,使梯度在 bf16、fp32、fp64 下都保持精确且求和为零,并在 grokking 与软目标蒸馏实验中消除损失尖峰和学生漂移。

深度剖析

标准 softmax 与交叉熵在高置信度下会算错梯度:当目标 logit 比其他 logit 大出足够多,目标项梯度被舍入成零,而非目标项梯度仍为正,梯度之和不再为零。 此前框架普遍先减去最大 logit 以防指数溢出,但分母写成 1 加 e 的负 margin 次方,一旦 margin 超过精度悬崖(bf16 约 5.5、fp32 约 16.6、fp64 约 36.7),这个加数就被舍掉。 在 a+b mod 31 的模加法任务上,标准交叉熵在 fp32 下反复出现损失尖峰、测试精度为 94.3 ± 5.4%,而改写后的交叉熵平滑越过精度悬崖并达到 100.0 ± 0.0%。

改写后的实现不再把 1 与极小的指数项相加,而是把最大 logit 位置固定为 0、只对其余 logit 求 log-sum-exp 得到 margin,再用 softplus 组合。 标准写法先算概率再相减,改写改为在 log 空间用 expm1 与 log1p 直接计算学生与教师概率之差,避免两个几乎相等的概率相减。 在 a+b mod 31 上以 1 层 4 头 Transformer 训练,改写版在 bf16、fp32、fp64 三种精度下、epsilon 取 10^-8 到 10^-16 时测试精度均不低于 98.9%,而标准版在 bf16 下停在约 93% 至 94%。

软目标蒸馏中,学生初始化为教师权重时标准实现仍会产生非零残差梯度,Adam 会把它放大成参数漂移。 标准实现前向用 softmax、反向用 log-softmax,两条计算路径不完全一致,即使学生 logit 等于教师 logit 梯度也不为零。 在 a+b mod 53 上以温度 4 蒸馏,改写版在三种精度下都保持 KL 为 0 与 100% 精度,标准版在 bf16 下把学生推离教师并降低测试精度,在 fp32 下出现初始 KL 尖峰和约 10^-6 的底噪。

启示与展望

演示范围是小规模任务:a+b mod 31、a+b mod 113、a2+b2 mod 97、a3+b mod 97 上的 1 层 Transformer 与 2 层 MLP,以及 a+b mod 53 上的软目标蒸馏;作者说明实验探测的极端 margin 与近乎为零的学生教师差距在大规模常规训练中并不常见。

作者指出实验探测的极端 margin 和接近零的学生教师差距在标准大规模训练中不常见,改写是否有用取决于模型是否做出高置信度预测或从接近的教师蒸馏;margin 平衡到 log(1/epsilon) 的结论在无权重衰减时不成立,margin 会继续上升。