跳到主要内容
返回时间线
arXiv来源发表:

KEAP让激活检查点只重算三分之二:Llama-488M困惑度最多升2.5%,显存仍按全量检查点省

核心概要

大模型训练中,激活检查点靠反向传播时重算激活来省显存,但线性层重算代价高。KEAP改为在重算阶段只重算一部分层组件:利用第一次前向传播得到的统计量,按分量范数贪心挑选或按概率抽样,检查点本身仍精确保存。在Llama-488M上,只重算三分之二的组件时,作用于前馈层、注意力层或两者,困惑度分别上升1.7%、1.2%和2.5%。

AI-generated editorial illustration: Know What You Need: Efficient Activation Checkpointing

深度剖析

KEAP把激活检查点的近似放在重算路径上,而不是改动前向传播或梯度规则,因此只重算线性层的一部分组件就能保住全量检查点的显存收益。 常规激活检查点必须把被丢弃的激活完整重算一遍,线性层尤其昂贵;此前的近似做法要么让误差沿反向传播累积,要么没有利用第一次前向传播已有的信息。 在Llama-488M上,只重算三分之二的层组件时,KEAP作用于前馈层、注意力层和两者同时,困惑度相对全量检查点基线分别上升1.7%、1.2%和2.5%。

做法是把前馈层和注意力层写成若干基本分量之和,重算时只保留其中一部分分量。 选择依据是第一次精确前向传播中每个分量的范数,据此用贪心方式保留范数最大的分量,或按与范数成比例的概率做随机抽样。 在Llama-134M上以三分之一保留率训练时,逐层统计的近似梯度与精确梯度的余弦相似度全程保持在0.85以上。

启示与展望

已展示的范围是Llama式架构、至多488M参数的主实验,外加一个953M参数、仅对前馈层做逐token Top-2/3选择的扩展实验,训练数据为FineWeb,评测为留出集上的困惑度。

多数结果来自单次训练运行,未报告运行间方差;作者指出在更大规模、其他架构或数据分布上结果可能不同,逐token选择用于注意力时键值计算会限制可节省的显存。