跳到主要内容
返回时间线
arXiv来源发表:

递归小模型砍掉双层状态:STRM在数独极难集上以同等算力超过TRM

核心概要

递归小模型TRM靠高、低两层状态和嵌套循环来避免记忆化,结构复杂。STRM把两层状态换成一个状态,用一组固定速率、按对数间隔排列的指数滑动平均通道来更新,并且只从更新最慢的通道读出答案。在相同数据、参数量和算力下,STRM在Sudoku-Extreme和PPBench上超过TRM,在Maze-Hard上与之持平,训练后期也不再出现留出准确率下滑。

AI-generated editorial illustration: Simpler Tiny Recursive Models

深度剖析

递归小模型可以只用一个状态、一条统一更新规则完成推理,不再需要TRM那样的高层与低层两个状态和嵌套循环。 TRM此前用两个状态交替细化潜在状态与答案状态,并靠这种层级结构避免记忆化和过拟合;直接改成单状态在Sudoku-Extreme上会明显掉分。 在Sudoku-Extreme上,STRM最终权重为91.2,TRM最佳检查点为88.3、最终权重为77.3,两者使用相同数据、参数量和每段算力。

单状态之所以能训练稳定,是因为每个通道按各自固定的速率对网络输出做指数滑动平均,快通道像工作记忆,慢通道累积多次调用的结果。 此前单状态方案要么过拟合,要么需要额外的跳连或可学习记忆令牌来稳住训练。 消融中取消平均(所有速率取1)后测试准确率降到55.0,单一共享速率得到81.9,完整的多时间尺度设置得到91.2。

答案只从慢通道读出,相当于把TRM中答案状态承担的信息瓶颈搬进了同一个状态内部。 若输出头读取全部通道,损失可以只走复制最新输出的快通道,从而绕过慢速累积。 在Sudoku-Extreme上,读取全部通道的变体测试准确率为86.9,只读慢通道的参考设置为91.2。

启示与展望

演示范围是拼图类与抽象推理基准:Sudoku-Extreme、PPBench六种题型、Maze-Hard,以及ARC-AGI-1和ARC-AGI-2;ARC-AGI上的对比取自已发表的TRM结果,其余对比在相同数据、参数量和每段算力下进行。作者表示代码将在论文接收后发布。

作者把STRM定位为TRM的直接替代,并期待用于胜者全取训练、并行采样等后续方法,但这些组合尚未验证。速率抖动对最终准确率提升很小,主要作用是减小训练后期的留出准确率下滑。ARC-AGI上报告的更高成绩来自URM等使用四块而非两块网络、训练轮数翻倍的方法,与STRM的设置不同。