StateBench把状态追踪分成四级:循环与混合模型能外推,前沿模型在最长一般有限问题上降到13%或更低
艾伦人工智能研究所发布StateBench,把长文档中的状态追踪按赋值操作分成四级,并从同一条赋值序列派生出四个难度可比的题目。在开放预训练模型上,几乎所有模型在不可变赋值上表现良好,随输入变长在按值重赋值上失准,在一般有限问题上停留在随机水平;四个前沿模型在最长的一般有限问题上准确率降到13%或更低。从头训练的275百万参数模型中,Gated DeltaNet与混合模型在三个较易级别上外推到数万次赋值仍接近完美,而Transformer始终学不会最难一级。