跳到主要内容
检索

Wu Zihan

1 篇关联报道

订阅更新
  1. arXiv

    Transformer 训练不再逐层存激活:ProxyProp 用局部代理估全局梯度,显存降 62%

    标准反向传播必须把每一层的激活一直存到梯度回传完毕,显存随深度增长,成为训练大模型的主要开销。ProxyProp 给每个 Transformer 块配一个从网络输出蒸馏出来的小型代理网络,梯度只穿过代理回传,因此同一时刻只需保存一个块的激活。在 CIFAR-100 上的 12 层视觉 Transformer 中,ProxyProp 的准确率接近反向传播,而显存占用降低 62%;在 OPT-13B 与 LLaMA-3.2-3B 的微调上,它在相近显存下优于零阶优化方法 MeZO。

已读完全部报道