StateBench把状态追踪分成四级:循环与混合模型能外推,前沿模型在最长一般有限问题上降到13%或更低
核心概要
艾伦人工智能研究所发布StateBench,把长文档中的状态追踪按赋值操作分成四级,并从同一条赋值序列派生出四个难度可比的题目。在开放预训练模型上,几乎所有模型在不可变赋值上表现良好,随输入变长在按值重赋值上失准,在一般有限问题上停留在随机水平;四个前沿模型在最长的一般有限问题上准确率降到13%或更低。从头训练的275百万参数模型中,Gated DeltaNet与混合模型在三个较易级别上外推到数万次赋值仍接近完美,而Transformer始终学不会最难一级。
深度剖析
长文档状态追踪现在有了分级测试:同一串变量赋值被改写成四个难度级别,模型在哪一级失效可以被单独定位。 此前的状态追踪测试多集中在最难的情形,缺少对较简单、可能更常见情形的区分。 四个级别共用相同数量的变量与取值,赋值出现在序列中的相同位置,只有赋值类型不同,因此难度差异不来自长度或词表。
做法是把状态追踪写成变量赋值序列,让模型读完序列后输出每个变量的最终值。 四个级别分别对应不可变赋值、按值重赋值、自指更新和按引用赋值,后者包括交换两个变量这类操作。 预训练模型测试使用训练数据与上下文长度均有记录的开放模型,包括70亿参数的Olmo 3与加入Gated DeltaNet层的Olmo Hybrid,以及275百万和27亿参数的较小模型,训练时均未见过超过64000个token的上下文。
从头训练把架构差异和预训练数据差异分开:直接在这些任务上训练后,循环与混合模型能处理预训练版本处理不了的级别。 Transformer即使直接训练也学不会最难的一般有限问题,说明这一级不是单纯靠预训练数据能补上的。 六个275百万参数模型在最多256次赋值的序列上训练,在长达64000次赋值的序列上测试;记忆更新更灵活的Gated DeltaNet变体在训练最长序列约10倍的长度上仍接近完美。
启示与展望
测试覆盖不可变赋值、按值重赋值、自指更新和按引用赋值四级,预训练模型测试限于训练上下文不超过64000个token的开放模型,从头训练实验限于275百万参数规模。
新证明显示,采用非负特征值这一更受限记忆更新的Gated DeltaNet在论文的定点精度与舍入假设下能解决全部非周期任务和某些周期任务,但它在层级中的确切位置仍开放,包括能否解决全部可解任务,以及数值精度或与注意力层组合会如何影响其能力。StateBench还假定变量数量固定,而真实任务常随时间引入新实体,当前设定尚未覆盖这一情形。
