让大模型手写权重时,它不选Transformer:稀疏事实表在ARC上反超同源Transformer,参数还少约1800个
核心概要
在不做梯度训练、只给十个标注样例的条件下,三个前沿大模型被要求自行设计目标模型结构,结果都放弃了Transformer,转而把事实写成纯文本句子、编译成一张稀疏表,再由固定流程查表作答。Claude Opus 5.5设计的这类模型在ARC选择题测试集上准确率高于同一模型手写出的最准Transformer,参数还少约1800个;作者据此提出一种只读固定行数的联想记忆模型,在GPU上比同尺寸Transformer快至多17倍。
深度剖析
当大模型被允许自己决定目标模型的结构时,它写出的不是Transformer,而是一张稀疏事实表加一套固定查表流程,三个前沿大模型都收敛到这一类设计。 此前的权重空间编程把大模型手写的权重填进已发布的Transformer、状态空间模型或RNN,结构由人预先定好;这次把结构也交给写权重的大模型。 在ARC四选一科学题上,Claude Opus 5.5设计的模型测试准确率高于它自己写出的最准已发布Transformer,参数少约1800个;同一模型手写的两层Transformer只有36.1%,而写出的表模型为49.6%至54.4%。
写权重时不用梯度,模型必须让每个预测能追溯到具体写下的行,并且改一行只影响依赖它的少数答案,稀疏表正好满足这两点。 写进Transformer的同样事实反而低于对原始句子做BM25关键词检索,Claude Opus 5.5的六个手写两层Transformer平均低8.0分,这与稠密键之间的干扰一致。 在Claude Opus 5.5的模型中只保留每个选项最匹配的一行,准确率从50.8%降到49.1%;删掉一行平均只改变0.5到1.8个答案,而第一个手写Transformer删一行平均改变4.8个答案。
为消除逐题扫描全部事实带来的开销,作者固定前向计算、只让大模型写权重:每题只读120行概念对表,再与概念表做一次乘积。 大模型自行设计的表模型每题要给每条已存事实打分,GPU上每问启动的内核从第一代13个涨到第五代118个,46个变体中只有1个在同尺寸Transformer最快输入下更快,中位数慢9.4倍。 Claude Opus 5.5的十代联想记忆模型ARC准确率49.6%至52.8%,比设计模型低约三个百分点;在RTX 3090上答完3530道测试题用18毫秒,同尺寸Transformer在第一代规模慢7倍、第五代规模慢17倍。
启示与展望
结论针对当前大模型在随机初始化、不跑数据、不做梯度训练的条件下手写权重这一设定,评测以ARC四选一科学题为主,另在SciQ、OpenBookQA、MMLU、SQuAD、SciQ生成、AG News和CIFAR-10上做了延伸测试。速度优势在单块RTX 3090上测得,且只覆盖概念数约1.5万至3.2万(稠密概念表)或约10万(行列表变体)的范围。
预训练模型微调后仍明显更准,Qwen3.5-0.8B在ARC上为82.1%,作者把结论限定为写权重时该造什么结构。大模型选表也可能只是因为它熟悉检索这一无训练答题方式,数据无法区分结构适配与结构熟悉。写出的模型只做事实召回,不在多步间串联事实,ARC-Challenge准确率停在约38%。
