TaH2 让循环 Transformer 按 token 分配迭代深度,AIME 上把准确率-算力斜率提高 53%
该工作通过后训练研究循环 Transformer 的测试时扩展,发现已有循环模型虽斜率更陡但在同等算力下不如非循环基线,于是提出 TaH2,联合后训练主干与迭代决策器并用前瞻深度监督在线标注哪些 token 值得继续迭代,在 AIME 基准上把准确率-算力斜率从 1.79 提升到 2.74(+53%),并在同等测试算力下超过基线峰值约 3.4 分。
该工作通过后训练研究循环 Transformer 的测试时扩展,发现已有循环模型虽斜率更陡但在同等算力下不如非循环基线,于是提出 TaH2,联合后训练主干与迭代决策器并用前瞻深度监督在线标注哪些 token 值得继续迭代,在 AIME 基准上把准确率-算力斜率从 1.79 提升到 2.74(+53%),并在同等测试算力下超过基线峰值约 3.4 分。
已读完全部报道