跳到主要内容
检索

# 近似重计算

1 篇关联报道

订阅更新
  1. arXiv

    KEAP让激活检查点只重算三分之二:Llama-488M困惑度最多升2.5%,显存仍按全量检查点省

    大模型训练中,激活检查点靠反向传播时重算激活来省显存,但线性层重算代价高。KEAP改为在重算阶段只重算一部分层组件:利用第一次前向传播得到的统计量,按分量范数贪心挑选或按概率抽样,检查点本身仍精确保存。在Llama-488M上,只重算三分之二的组件时,作用于前馈层、注意力层或两者,困惑度分别上升1.7%、1.2%和2.5%。

已读完全部报道