前沿大模型能直接读懂并改写神经网络权重了

这项工作简单、清晰、引人入胜，但带有修饰成分。我最初觉得这很令人震惊，模型能够原生理解神经网络权重并进行有成效的编辑！但实际情况并非如此，这里的许多人都感到恼火。不过，它仍然值得关注和理解。我做了一些分析和审查，以下是一些想法：1/ 这篇论文*没有*表明智能体可以像 RSI 那样编辑其权重。它*没有*表明模型可以编辑出新的能力。它确实表明，前沿模型可以使用研究人员用来消除安全拒绝的相同消融技术来消除“错误”（推理循环）（实验 8 - Qwen）。因此，人们再次担心前沿大语言模型能够访问自己的权重并编辑安全/CBRNE/对齐功能。2/ 这篇论文也*没有*表明智能体可以“原生”读取、深度理解和修复模型权重。实际情况是，该模型可以巧妙地推断出与机械可解释性研究人员相同的东西，并以大多笨拙的方式修复它们。仍然很酷，但没有那么具有开创性。证据在下面的帖子中……

那么 Astra 如何读取神经网络权重呢？一个帖子串 🧵 深度神经网络的权重以不透明著称，但有一个例外：第一层和最后一层，它们映射到已知的输入和输出。这就是 Astra 正在读取的内容吗？@rikiyatakehi 等人的帖子：[1/10]

前沿大语言模型正在展现出读取、修复和重写神经网络权重的潜力。MIT CSAIL 的研究人员称之为“权重空间编程”。这就是 GPT-6 在编辑包括 Qwen3.5-0.8B 在内的各种小型神经网络时所做的事情，使用了可解释性研究中的工具，甚至是直接的权重编辑。很快，大语言模型可能会以人类甚至超人类的水平原生优化神经网络权重：