循环Transformer不必回看全部历史:ARLoop只保留最近三层残差,1.2B模型在数学与代码上超过Huginn-3.5B
核心概要
ARLoop把注意力残差引入循环Transformer,让每一层按注意力权重挑选此前循环深度产生的表示,而不是像PreNorm那样把所有残差更新以固定系数累加进同一条残差流。在140M与370M参数的受控实验中,它取得比PreNormLoop及Sandwich-Norm、DeepLoop、Parcae更低的验证困惑度;在更深的循环下,只保留最近三个残差块的滑动窗口注意力与全历史注意力持平甚至更好。按真实预训练配方训练的ARLoop-1.2B仅用0.5T token,在全部评测任务上超过Huginn-3.5B,并与Qwen3.5-2B相当。
深度剖析
循环Transformer现在可以按注意力权重挑选此前循环深度留下的表示,而不必把所有残差更新以固定系数压进同一条残差流。 在PreNorm下,先前各深度的残差更新以固定单位系数累加进同一状态,循环越深,后续计算越缺少显式手段去选择早期深度中哪些表示有用。 在140M与370M参数、多个循环深度的受控设置中,ARLoop的验证困惑度低于PreNormLoop,也低于Sandwich-Norm、DeepLoop和Parcae等此前为循环Transformer提出的残差设计。
循环Transformer不需要访问完整的残差历史,只看最近几个残差块就够。 标准Transformer上的注意力残差通常让每个深度注意力操作访问全部先前的残差块,即全历史深度注意力。 在140M与370M参数的受控实验中,滑动窗口深度注意力在较大循环深度下与全历史注意力持平甚至困惑度更低;对全历史变体的注意力权重可视化显示,第47个子层处最近三个残差块与嵌入块合计获得96%的注意力权重。
这种残差设计带来的收益能延续到真实的大语言模型预训练,并在数学与代码任务上更明显。 此前的残差设计大多只在较小规模预训练下评估,在数学推理和代码生成这类复杂生成任务上的效果缺少检验。 在相同的0.6B参数、180B token训练预算和三次循环下,ARLoop-0.6B在8项评测任务中的7项上超过PreNormLoop-0.6B,其中GSM8K提高5.2分、MBPP提高3.1分。
启示与展望
已展示的范围是140M与370M参数、6层与12层的受控预训练,以及0.6B和1.2B参数、三次循环、180B与500B token的真实预训练配方;评测覆盖通用知识、数学推理与代码生成,训练代码、数据处理代码、中间检查点和最终模型均已公开。
滑动窗口大小与残差块大小的扫描主要在140M规模上进行,更系统的窗口设计仍待探索;推理时把循环次数推到训练最大值之外,性能不再提升,即使为未见深度的查询参数单独训练也是如此;与Parcae、DeepLoop等残差方法未在真实预训练规模下做对比。
