循环Transformer不必回看全部历史:ARLoop只保留最近三层残差,1.2B模型在数学与代码上超过Huginn-3.5B
ARLoop把注意力残差引入循环Transformer,让每一层按注意力权重挑选此前循环深度产生的表示,而不是像PreNorm那样把所有残差更新以固定系数累加进同一条残差流。在140M与370M参数的受控实验中,它取得比PreNormLoop及Sandwich-Norm、DeepLoop、Parcae更低的验证困惑度;在更深的循环下,只保留最近三个残差块的滑动窗口注意力与全历史注意力持平甚至更好。按真实预训练配方训练的ARLoop-1.2B仅用0.5T token,在全部评测任务上超过Huginn-3.5B,并与Qwen3.5-2B相当。