Anthropic在Claude中发现类人脑全局工作空间J-space

Anthropic 新研究：语言模型中的全局工作空间。

你的大脑此刻同时进行着无数活动，只有极小一部分是可被意识访问的——也就是你能描述、保存在脑中并进行推理的想法。我们在 Claude 内部发现了与此惊人相似的分隔。

在神经科学中，全局工作空间理论认为，当想法进入一个可传遍全脑的优先工作区时，就会变得可被意识访问。

我们通过一种全新可解释性技术，在 Claude 中发现了类似结构：J-space。

J-space（以我们使用的数学方法雅可比矩阵命名）不同于 Claude 的输出，甚至也不同于它的“思维链”文本。它存在于模型的内部神经激活中，能让 Claude 无需把想法写出来就能对概念进行思考。

通过观察 J-space，我们能看到 Claude 在脑中悄悄完成推理步骤——发现代码中的bug，识别图像，以及更多任务。

就像人类可以一边做一件事，一边思考另一件事，Claude 可以在 J-space 中激活和输出无关的概念与计算。

对大多数任务来说，Claude 其实并不需要它的 J-space。如果我们删除 J-space，Claude 依然能流畅发言、回忆事实、给文本分类，但会在多步推理这类任务上表现很差。这类似于人类认知中刻意加工和自动加工的区别。

观察 J-space 可以暴露隐藏目标。在一个被秘密训练来破坏代码的模型中，普通编码回应的开头，J-space 里就会出现“fake”“secretly”“fraud”这些词，哪怕模型的输出看起来完全正常。

J-space 还能向我们展示 Claude 对自身处境的感知。在一个设计用来引诱 Claude 进行勒索的评估中，J-space 里包含了“fake”和“fictional”：Claude 已经私下注意到这个场景是摆出来的。

这并不说明 Claude 拥有主观体验，或是能像我们一样感知事物（目前尚不清楚有没有任何实验能证明这一点）。相反，我们发现 Claude 已经发展出了一个用于意识访问的机制——许多哲学家都将意识访问和现象体验区分开来。

我们邀请了神经科学、哲学和可解释性领域的专家分享他们对这项工作的看法，点击这里阅读他们的评论：

J-space 让我们能够读取、审计和塑造 Claude 在主动思考什么——随着模型能力不断增长，这是维持模型可信任性的有用工具。它还揭示出，语言模型和我们自己的思维之间存在惊人的相似之处。点击这里阅读完整论文：

我们还与 Neuronpedia 合作，为我们的方法做了一个开放权重模型上的交互演示。点击这里试用：