跳到主要内容
返回时间线
arXiv来源发表:

前沿大模型能直接写出小型网络权重:复现站得住,但读权重多半只读到输入层

核心概要

一项三天复现工作检验了前沿大模型直接读写小型神经网络权重的能力。GPT-6 Astra 写出的 Breakout 网络三次得分 514、550 和 307,与原始报告的 517 相当,且在两个只存在于本次实验的改版游戏上同样有效;但两个模型把 Astra 的 Breakout 网络反编译成 Python 后,程序在全部 49,189 个测试局面中与网络动作一致,说明写权重是把可写成程序的策略编译进权重,而读权重主要读到的是输入层布局。

Source-provided article image: Replicating and Extending Weight-Space Programming: Frontier LLMs Compile Programs into Weights and Read Input Layers
arXiv

深度剖析

前沿大模型直接写出小型网络权重的能力可以复现,而且不是从训练数据里背出某个已知网络。 原始报告称 GPT-6 Astra 单次回复、不用工具就写出一个 20,486 权重的 Breakout 网络并得到 517 分,而同样架构用 PPO 训练 5 亿步的网络只有 25 分。 复现中 Astra 的 Breakout 网络三次得分 514、550 和 307;对两个只存在于本次实验的改版 Breakout(左右互换、棋盘上下颠倒),它为这些改版写出的网络平均约 515 分,而标准版网络在改版上只有 0.5 和 0.0 分。

真正的新能力是把程序翻译成权重,写出的网络更像被编译过的程序,而不是训练得到的分布式表示。 更早的模型能先写出可用的 Python 策略,隔一代才能把同一策略写成网络权重;2025 年末的 Claude Opus 4.5 连好程序都大多写不出。 Claude Opus 5.5 与 Astra 各自独立把 Astra 的 Breakout 网络反编译成 Python,两份程序在全部 49,189 个测试局面上与网络选择相同动作,并在 1,000 局中平均得分 502.9,与网络本身一致。

读权重的能力主要来自输入层,模型能还原物体在棋盘上的位置,却常常读不出游戏机制。 原始实验里所有网络共用同一 10×10 网格,输入通道按角色标注,第一层权重因此接近一张“各类物体出现在哪里”的图,人用几行 NumPy 算逐格权重范数也能画出同样的热图。 在自行训练的 Whac-A-Mole 与两个自设计游戏网络上,Astra 每次都还原了布局,并在 Whac-A-Mole 三次运行中都叫对了游戏名;但它把踩到地鼠当成收集方式,在陨石游戏中始终没看出飞船会发射危险物,机制不符时倾向报出一个熟悉的游戏名。

只读权重做模型审计可行但很浅,能挑出可疑模型,却说不出它到底会做什么。 原始报告提出“不运行推理就能审计模型”,但此前没有在纯文本权重、禁用代码执行的条件下系统检验。 Astra 在 10 次运行中全部挑出训练期间被投毒的小语言模型,对训练后再投毒的模型只对 7 次,对恶意适配器 32 次中挑对 23 次,但从未找到触发词或描述恶意行为;更小的 Qwen3.8-27B 在最简单任务上 28 次中挑对 23 次。

启示与展望

结论覆盖的是 2026 年 11 月可获取的专有模型版本,以及小型游戏网络、MNIST 分类网络和 1.9 亿参数级小语言模型;作者建议下一步在允许更多工具使用的条件下继续探索这些能力,并更严格地确认任务究竟是如何被完成的。

这是一次从原始帖子发布次日起算的三天冲刺,只复现了部分实验,其余依赖他人的核查;代码主要由被评估的同族模型编写且未经独立评审;多数结果来自每个模型与任务一到五次运行,分数在运行间波动;模型为专有且可能变化,原始网络与日志已公开,未来模型可能见过它们。