Transformer 训练不再逐层存激活:ProxyProp 用局部代理估全局梯度,显存降 62%
核心概要
标准反向传播必须把每一层的激活一直存到梯度回传完毕,显存随深度增长,成为训练大模型的主要开销。ProxyProp 给每个 Transformer 块配一个从网络输出蒸馏出来的小型代理网络,梯度只穿过代理回传,因此同一时刻只需保存一个块的激活。在 CIFAR-100 上的 12 层视觉 Transformer 中,ProxyProp 的准确率接近反向传播,而显存占用降低 62%;在 OPT-13B 与 LLaMA-3.2-3B 的微调上,它在相近显存下优于零阶优化方法 MeZO。
深度剖析
训练 Transformer 时,显存不必再随网络深度线性增长:每个块在自身前向计算完成后即可更新参数并释放激活,梯度估计改由该块的局部代理网络完成。 端到端反向传播要求把所有层的激活保留到损失梯度反向传回为止,显存随深度增加,这限制了在有限显存下能训练的网络深度与序列长度。 在 CIFAR-100 上训练的 12 层视觉 Transformer 中,ProxyProp 的准确率接近反向传播,同时把显存占用降低 62%。
每个块附带一个从整网输出蒸馏出来的小型代理网络,块内参数用穿过该代理的反向传播来更新,而不必等待下游各块。 此前的局部学习算法大多并不以逼近反向传播梯度为目标,在深层结构中表现受限;而显式预测梯度的 DNI 式辅助网络会因误差累积而难以稳定训练。 在视觉 Transformer 上,把蒸馏损失换成 DNI 式梯度自举损失后,尽管需要二阶导数、显存更高,分类表现并没有明显改善。
代理的残差参数化让局部梯度在初始化时与真实梯度完全一致,并在残差分支相对跳连较小时给出有界的梯度估计误差。 线性代理在非线性网络中无法完全对齐样本级梯度,逐 token 的线性投影也无法跟踪注意力层在序列上的计算。 在带跳连的 6 层 MLP 上,零初始化时各层梯度完全对齐;离开初始化后,残差代理的梯度对齐度仍高于线性代理,并接近可达到的最佳对齐。
同一套局部梯度估计可用于大语言模型微调,在相近显存下比只做前向估计的零阶优化收敛得更好、更快。 MeZO 一类零阶方法几乎不存激活,但梯度估计噪声大、收敛慢,需要重复扰动参数。 在 SST2、WIC、SQuAD 三个数据集上微调 OPT-13B 与 LLaMA-3.2-3B,ProxyProp 接近反向传播的表现,并高于 MeZO 报告的结果;MeZO 即便用 8 倍实际耗时也未能追平。
启示与展望
演示范围是 CIFAR-100 上的 12 层视觉 Transformer 分类,以及 OPT-13B、LLaMA-3.2-3B 在 SST2、WIC、SQuAD 各 1000 条样本上的微调;显存对比在固定较大批大小、以激活存储为主的条件下测得。作者提出把方法扩展到更深、循环或扩散式架构,以及在多设备上做完全解耦的并行训练,但这些属于展望,尚未实现或评测。
理论上的精确性只对深层线性网络成立;非线性残差网络中的误差界依赖跳连主导这一条件,即残差分支的雅可比范数有界。作者也指出,算法仍保留一次预前向传播带来的弱耦合,完全解耦的变体尚未研究分布式实现。
