跳到主要内容
检索

# 循环Transformer

13 篇关联报道

订阅更新
  1. arXiv

    决策模型不再一次定答案:同一套权重循环加深,难题多算几步就多对13个百分点

    面向固定选项的决策模型通常一次前向就给出每个选项的概率,深度在训练时固定,简单题和难题花同样的算力。LEV 把主干换成预训练时就带循环的语言模型,每一步之后都读取选项并联合训练所有步,因此一个检查点可在任意深度作答;在 JevBench 上,2.6B 模型从深度一的 63.2% 升到深度四的 76.2%,增益主要来自难题。一个轻量停止器按问题决定深度,阈值在无标注请求上拟合,节省 15% 到 24% 的算力,代价不到一个准确率点。

  2. arXiv

    循环推理不再只留最新状态:注意力残差让7M小模型在近2.5万层仍保持解

    循环Transformer在测试时反复执行同一共享块来加深推理,但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合:共享伪查询给每个候选打分,学习到的指数衰减压低旧输出权重,聚合结果以精确流式递推实现,每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上,7M参数模型达到97.9%精确准确率,超过FPRM的94.2%;在1,872层时达到90.9%,而FPRM要到3,744层才有90.1%。

  3. arXiv

    LLoCoT 用循环 Transformer 迭代精炼潜在工作区,在 HumanEval 与 MBPP 上以并行潜在推理达到与显式 CoT 相当的准确率,并将首答延迟降低约 36 倍

    作者提出 LLoCoT:用共享 Transformer 对紧凑潜在工作区做少量迭代精炼,替代从左到右的潜在生成,再由概率头并行采样潜在 token 以条件化自回归解码器;在 HumanEval 与 MBPP 上其平均准确率与显式 CoT 基线 Reasoning SFT 相当,并优于基座模型、仅答案 SFT 与 NF-CoT,同时相对 Reasoning SFT 将首答时间降低约 36 倍、推理阶段延迟降低约 42 倍、端到端吞吐提升 9.2%。

  4. arXiv

    ResidualQuant 用末轮 KV 作锚、2 比特残差压缩循环 Transformer 缓存,INT2/4 下 KV 存储降 80.7% 且精度接近 BF16

    针对循环 Transformer 中 KV 缓存随循环数增长的内存瓶颈,作者提出 ResidualQuant:以末轮 KV 状态为锚,把其余循环表示为低精度残差,并配合最小二乘缩放、对残差施加旋转以及逐循环 INT4/INT2 混合精度;在 Ouro-1.4B 与 Huginn-3.5B 的数学推理与代码生成基准上,该方法在相同内存预算下优于基于旋转的 KV 量化,混合精度下 KV 存储较 BF16 减少 80.7% 而精度接近 BF16。

  5. arXiv

    LiFT 让循环 DiT 在训练深度之外继续提升:L/2 与 XL/2 以更少参数和推理算力超过更大的稠密 DiT

    LiFT 把循环 DiT 的每次循环监督到一条从初始速度估计指向流匹配目标的直线路径上的对应点,使训练好的检查点可在推理时使用远超训练深度的循环数;在 ImageNet 类别条件生成上,L/2 与 XL/2 检查点通过把推理算力重新分配给循环,在更少参数与更少推理 FLOPs 下取得优于更大稠密 DiT 的 FID,而 B/2 规模上稠密模型仍更强。

  6. arXiv

    LoopCD 把循环 Transformer 的早期迭代当作弱参考,Ouro-2.6B 的 AIME 2024 pass@1 从 61.88% 升到 73.33%,并在半数循环下省下 22.5%–48.2% 前向 FLOPs

    该工作提出免训练的对比解码框架 LoopCD,把循环 Transformer 最终预测与更早一次循环的预测做对比来引导选词,分 logit 空间(多一次输出前向,LoopCD-Logits)与隐状态空间(零额外输出开销,LoopCD-Hidden)两种形式,在四个循环 Transformer 家族上于全循环深度取得一致提升,例如 LoopCD-Logits 把 Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%,LoopCD-Hidden 把 Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%,并因此可在把循环次数减半时仍匹配或超过全深度无引导基线

  7. arXiv

    LoopVL 用共享参数循环 128 层,在 MMStar 上把 1B 骨干从 55.33 提到 63.47,并观察到跨循环的 Visual Aha Moment

    作者提出 LoopVL,把循环 Transformer 扩展到视觉语言模型:语言骨干基于 HRM-Text 开源框架与数据自行预训练,采用 Module-Loop 与 Model-Loop 嵌套的 H/L 共享参数结构,默认 H2L3 配置下一次前向执行 128 次 Transformer 层调用;在相同 0.14T token 训练预算下,LoopVL 在 MMStar、RealWorldQA、ChartQA 等基准上超过同层数的 Transformer-VL 1B,并接近或超过更大的 4B 稠密基线,同时作者报告了跨模型循环的视觉注意力重分配现象,称为 Visual Aha Moment。

  8. arXiv

    循环混合专家模型首次拥有联合缩放定律:稀疏度把循环的有效参数增益抬高并延后饱和

    该工作提出 Loop Scaling Laws,首次把循环(recurrence)与 MoE 稀疏度同模型规模、训练数据一起纳入同一个缩放定律,用一个有界且以稀疏度为条件的循环映射刻画循环带来的有效参数增益及其饱和点,在留出集上比线性与幂律映射预测损失更准,并据此在算力与显存约束下选择循环次数与专家数,在万亿 token 规模上让 0.3B 激活/1.3B 总参数的循环 MoE 在推理基准上追平约 2 倍大的非循环 MoE。

  9. arXiv

    TAPS 让循环 Transformer 按轨迹自适应步长:Sudoku 准确率升至 91.39%、Maze 达 79.90%,并减少到达同等精度所需的循环次数

    该工作提出轨迹自适应进展—波动调度器 TAPS,用指数移动平均在线估计循环更新中的持续进展与中心波动并据此调整每步更新尺度,理论证明在给定条件下可降低期望终端损失、以更少循环达到目标质量,实验在 Sudoku、Maze 及语言模型与中间层循环等设置中提升终端准确率并带来最高约 1.5 倍墙钟加速。

  10. arXiv

    WaveFront Decoding 把循环语言模型的草稿与验证合并进同一次循环调用,在 Ouro-2.6B 与 Huginn-3.5B 上分别取得 2.42 倍和 3.54 倍解码加速

    该工作提出免训练的 WaveFront Decoding(WFD)自推测解码框架,利用循环语言模型中间递归输出可作草稿、权重共享可让不同位置与不同递归深度的状态在同一次批处理递归块调用中处理这两个性质,把混合深度状态组织成对角波前,使草稿与验证在同一批递归调用中并行进行,并用全深度预测纠正被拒绝的草稿;在 Spec-Bench 六个任务类别上相对自回归解码取得 Ouro-2.6B 2.42 倍、Huginn-3.5B 3.54 倍加速,结合跨递归 KV 共享后 Huginn-3.5B 加速最高达 4.81 倍。