Anthropic 研究员说：预测下一个 token，需要先理解宇宙

我从 @AnthropicAI 可解释性研究员 @mlpowered 那里得到的最大收获：

1. 预测下一个词元需要理解宇宙。语言模型在 2019 年左右在预测下一个词元方面超越了人类。一旦模型掌握了简单的词元（句子结构，然后是基本事实），剩下的就是难题，比如博士论文的最后一段。要完成“包含达拉斯的州的首府是……”，模型必须知道达拉斯在德克萨斯州，而德克萨斯州的首府是奥斯汀。

2. 大语言模型会提前规划，即使它们一次只写一个词元。这是 Emmanuel 的团队最令人惊讶的发现之一。当模型写诗时，它不会偶然发现押韵。在诗歌生成过程中观察中间思维状态，研究人员发现，模型一写完第一行，就已经选定了第二行结尾的词（“rabbit”），然后在之后的每个词都参照这个计划。

3. 在试图预测 AI 的行为时，将其拟人化通常是一种有用的方法。模型从人类文本中学习，并从中形成对世界的表征。用数百万段对话进行训练，就像训练一个演员扮演所有角色，而你与 Claude 的对话实际上就是以剧本形式呈现的（“Human: ... Assistant: ...”）。用 Emmanuel 的话说，“模仿人类的东西非常接近，而且比程序接近得多。”

4. 可解释性研究看起来更像神经科学，而不是软件工程。这项工作涉及拿一个你没有设计过的系统，通过实验来推断它为何如此表现。你检查看似毫无意义的数字列表，向模型输入大量文本，并观察不同输入激活的模式——这与脑成像研究中使用的方法没什么不同。“我们所做的很多事情感觉更接近生物学，而不是工程学。”

5. 模型只能告诉你它想法的一小部分。Emmanuel 的团队发现，模型内部表征中只有一小部分（他们称之为“J space”）可以在你询问模型在想什么时被报告出来。他们将其比作人类心智理论，即大部分处理过程发生在表面之下。在一个实验中，他们在 J space 中将“西班牙语”换成了“法语”。当被问及一段文字是什么语言时，模型说是法语。但当被要求直接续写这段文字时，它继续用西班牙语写。

6. 仔细研究模型往往会提出比答案更多的问题。Emmanuel 指出，那些自信地声称大语言模型“不过是 X”或“无非是 Y”的人，几乎总是那些没有研究过其内部运作的人。他自己的经历正好相反：仔细研究模型增加了他的不确定性，而不是减少了它。从外部看，训练所产生的复杂性总是被低估。“我发现，你越深入观察，就越不确定它们是如何工作的。”

7. 即使是构建 AI 模型的人也不完全理解它们是如何工作的。正如 Emmanuel 所描述的，模型是生长出来的，而不是建造出来的。“制造它们并不等于理解它们。”工程师编写代码，输入海量数据，模型的能力就涌现出来。这就是他的团队存在的原因。他们的工作是打开模型，弄清楚从你的提示到它的回答之间，它到底在做什么。

8. 可解释性作为一个领域，规模小、历史短，并且对新人开放。Emmanuel 估计该领域有数百名研究人员，分布在各大实验室和学术团体。因为它太新了，入门并不一定需要深厚的先前专业知识。他提到了像 Neuronpedia 这样的平台，它托管模型，让任何人都能直接运行可解释性实验。“这是一个非常新的领域，入门主要靠自学和阅读一些关键论文。有太多东西可以探索，如果你有一点好奇心，就应该试一试。”