GPT-6 Astra 展示了一种新的模型优化路径:不重新训练、不微调,直接改写目标模型的权重。MIT 研究者的实验里,Astra 直接修改 Qwen3.5-0.8B 的权重,把它在 MATH-500 数学基准上的正确率从 7.9% 拉到 48.1%,而过去要靠几轮训练才能做到这种提升,现在一次权重改写就完成了 [1]。

从方法角度看,这条路径被命名为 Weight-Space Programming,改动幅度只有 0.016% 的权重,却把数学能力提升到原来的 6 倍,指令遵循能力提升 3 倍 [2]。7.9% 到 48.1% 正好接近 6 倍,与这一描述相互吻合 [1]。关键不在于改了多少参数,而在于改的是哪一小部分参数,以及这些参数如何影响模型行为。

更一般地说,Astra 表现出的能力不只是对某个数学基准做针对性修改。论文显示,它可以拿一个小型神经网络,直接与它的权重交互,仅通过观察权重就能识别这个网络被训练来玩什么游戏,甚至还能自己调整权重 [3]。不过论文作者并不认为这是超人类能力:一个聪明的机器学习研究员可以完成所有这些任务。理由有三点,模型的输入通道直接对应每个 8x8 网格单元,输入通道是有标签的,比如 agent、moving objects,因此计算第一层权重关注网格的哪些部分以及为什么,相对简单,用三行 Python 就能表示成热力图 [3]。

把这件事放回优化大模型的工具箱里看,意义就更清楚了。以前优化模型主要靠调提示词或微调,现在多了一条直接读写权重的路径。知识库里还有其他避免全量重训的做法:不改模型权重、只改执行系统,AI 终端任务准确率从 83% 提到 95% [18];IAR 让模型把文档记进脑子里,不靠检索直接答题 [4];给奖励模型做轻量修正,只改打分头那一层来纠正对长回答和自信表达的偏好 [9]。这些方法的共同点是绕开大规模重训,但切口不同,有的改执行流程,有的改记忆方式,有的改评分头,而权重直接编辑改的是模型参数本身。

这条路径之所以引人关注,是因为“改进语言模型的超人类能力”正是可能引发递归自我改进的那类能力 [3]。但边界同样明显。论文作者自己把能力拉回到人类水平,认为这并不是超人类的表现 [3]。MIT 实验的分数提升是单点结果,权重编辑方法能否在更多模型、更多任务上稳定复现,还需要独立验证。知识库里 Astra 的其他基准表现也提供了参照:它在 ExploitBench 漏洞利用基准上拿到 100%,远高于上一代的 78.5%,但 Artificial Analysis 的综合智能指数是 61 分,与 GPT-5.6 Sol 相同 [6]。单项能力突破不等于全面领先,直接读写权重也是如此。

直接读写权重提供的是一种新接口:模型不只是生成文本,还能操作另一个模型的参数。这条路径最终有多大价值,取决于两件事,一是权重编辑的决策能否被人类理解和复现,论文作者已经展示了用几行代码读出第一层关注区域的做法 [3];二是这种改动能否从 0.8B 小模型推广到更大模型和更广泛的任务上。知识库目前只给出了小模型上的具体数字,更大范围的结论还没有出现。