过度训练：通往人类级人工智能的路径

过度训练：通往人类级人工智能的路径

匿名博主Gwern最近完成了一篇一万三千字的文章，题为《通过弹射实现类人神经网络》，他在文中提出了一个理论：为什么LLM不具备真正灵活的人类级智能，以及我们如何训练出具备这种智能的LLM。这类理论其实并不罕见：互联网上每个狂热的研究者都有自己的破解AI的理论。但Gwern与众不同。在OpenAI之外，Gwern是最早预见到大语言模型潜力的人，也预见到了让模型更大更强的扩展竞赛。我经常引用Leopold Aschenbrenner的《情境意识》作为某人正确预测AI未来的例子。写于2024年、GPT-4发布后不久，Aschenbrenner很多事都说对了：建设数十亿或数万亿美元GPU集群的竞赛、围绕LLM的代码的重要性（他称之为“去束缚”）、以及扩展将持续整个十年的事实。而Gwern的文章《扩展假说》在2020年GPT-3发布后（比ChatGPT发布和AI热潮开始早两年）就预见到了大方向。

然而，据我所知，《通过弹射实现类人神经网络》尚未引起太多公众关注：最近一个Hacker News讨论帖只有十二条评论，而且都在讨论人脑是否类似于神经网络。部分原因在于：(a) 文章太长；(b) 简短的摘要只描述了Gwern的论断，却没有给出理由；(c) 文章开头很大部分看起来确实是在与人脑进行类比论证。但我认为这个类比并非支撑性论点。让我试着解释我认为Gwern在说什么。

什么是grokking？

首先，我们来谈谈“grokking”。2022年，OpenAI发表了一篇论文，表明如果你在一个简单数据集（比如一个简单的数学运算如除法）上训练一个模型，并且在训练看似停滞之后继续长时间训练，模型会突然在能力上实现巨大飞跃。为什么这样能行？训练的第一阶段像死记硬背：模型必须尽可能多地将训练数据压缩进其权重中。但如果你继续下去，正则化技术（例如迫使模型使用更小权重值的压力）会激励[2]模型寻找越来越简单的数据压缩方式。一开始这看起来没什么（训练损失保持为零），直到模型注意到你可以通过简单地执行底层数学运算来表达数据，此时它会瞬间变得极其聪明。换句话说，过度训练可以迫使模型真正理解其训练数据。OpenAI将这个过程命名为“grokking”，这个新词源自Robert Heinlein，对Heinlein来说，它的意思是“获得深刻、直觉且根本的理解”[3]。

Gwern的论证大致如下：

- 现代LLM的泛化能力比人类差，因为它们没有grok其核心领域
- Grokking需要在（相对）小的数据集上过度训练一个过参数化的模型，这与前沿实验室的做法完全相反
- 然而，(2) 基本上就是人脑的学习方式
- 应该有人花上几百亿美元[3.5]尝试一下，因为这可能立刻带来真正类人的LLM

我将跳过(3)，因为我认为即使没有与人脑的类比，这个论证仍然有说服力。

LLM表现差是因为不能grok吗？

我认为他的第一点很难反驳。LLM在特定领域非常聪明，但它们经常犯人类不会犯的错误。更关键的是，它们经常犯任何与LLM一样聪明的人类绝不会犯的错误。这清晰地指向了泛化失败：LLM在特定领域和聪明人一样强，但无法将那种智能泛化到人类能完成的那么多任务上。

LLM是不是没有grok？我翻阅了一篇声称它们能grok的论文。如果你绘制“LLM记住了多少数据”与基准测试性能的图表，你会看到基准测试性能先有一个小尖峰，然后大幅下降，最后再大幅上升。这个模式完全没有跟踪记忆：记忆在整个过程中平滑地增加。

我认为这篇论文凸显了区分grokking和泛化的困难。显然，LLM在训练过程中学会了泛化，并且学习泛化很可能需要一定基线的记忆（这样LLM才有泛化的原材料）。所以这看起来就像grokking。

当Gwern（以及其他人）说LLM没有grok时，我认为他们的意思是至少还有一个巨大的泛化飞跃等待实现。这合理吗？作为一个存在性证明，人类显然比LLM更擅长泛化。当然，有可能这种人类级别的泛化来自我们大脑中神经网络无法复制的特征，但这有点特设性：如果神经网络能够泛化，为什么它们只能泛化到现在这个程度，不能再进一步？

grokking的简单例子依赖于存在简单规则等待发现的领域（例如数学运算）。人类语言是否有这么深的规则？我认为这是一个开放问题，但有充分理由认为答案是肯定的。语言具有深层、微妙的结构：不仅是内部结构，而且一直延伸到世界存在的方式和人类思维运作的方式。

AI实验室在海量数据上训练较小的模型

过去几年，许多AI研究者一直在说数据是最重要的：无论你选择什么模型架构，只要有足够的规模和训练时间，模型就会收敛到其数据集。无论这是否正确，AI实验室已经将大量资源用于获取更多、更高质量的数据：扫描纸质书、付费让专家生产和标注数据、或与拥有大量数据的公司合作。

AI实验室还训练了相对较小的模型。即使最大的前沿模型可能也是MoE，拥有几千亿参数，其中大概十分之一是活跃参数。当然，对前沿模型规模的估算大多是猜测，但开源模型提供了一个良好的基线：它们大概在Kimi-K3附近，该模型拥有不到三万亿参数和五百亿活跃参数。听起来很多，但你可能在最大的前沿集群[4]上用几天时间就能预训练完成。

Grokking需要在小数据集上训练巨大的模型

Gwern的预测是，AI实验室应该尝试做与之前完全相反的事情。不是在海量数据上训练一堆万亿参数模型，而是尝试在一个小数据集上训练一个百万亿参数模型。

这表面上听起来很蠢。模型能访问的数据越多，它就会越聪明，对吧？为什么要把整个训练集群浪费在一个受限的训练运行上？因为如果Gwern是对的，当数据集受到限制时[5]，grokking更有可能发生。如果你给模型喂世界上所有的数据，它可以通过仅仅记住更多新事物或建立简单联系来继续改进。如果模型必须在一小部分数据上反复思考，它就会被迫不断寻找更深的泛化。为此你需要一个非常大的模型，以便它能尽可能多地记住数据。每一个记住的数据都可以作为泛化的原材料。

大型实验室很可能还没有尝试过这个方案。Gwern本人足够内部，他很可能知道，所以写这篇文章本身表明实验室还没有尝试过。此外，训练百万亿参数模型所涉及的工程问题很可能尚未解决：现有最大的模型大概是Claude Mythos，肯定没这么大。但他们有资源和工程人才，可以好好试一把。

有趣的是，政治障碍可能和技术障碍一样难解决。这次训练运行在成功的那一刻之前看起来都像是失败的：训练损失会相对较快地降到零，然后在那里停滞数周或数月，表面上在测试损失上毫无改善，却烧掉数十亿美元。顶级玩家中有人有足够的风险承受能力或勇气一直资助这个实验吗？

结论

Gwern的文章还给出了一个扩展论证，认为人类大脑发育也是同样的方式：人类大脑的“参数”比前沿LLM多得多，而训练所用的数据却少得多[6]，这促使我们在童年早期做出更深的泛化。我没有生物学或神经科学的背景来评估这些论断，所以我在阐述grokking的案例时完全未提及它。

2024年，每个人都清楚地看到“纯粹扩展”——即简单地训练越来越大的GPT-3.5版本——行不通。OpenAI的“更大版本”GPT-4根本不够好，最终以GPT-4.5而不是GPT-5发布。自那以后最大的进展是推理（带来了又一次能力的大幅跃升）和更好的自动RL（迎来了当前可靠智能体的时代）。这两者都不像是通往超级人工智能的可行路径。

我不知道我是否同意Gwern，但强迫非常大的LLM去grok至少是一个可能带来机器之神的想法。我不记得上次读到如此雄心勃勃的简单想法是什么时候了[7]。我希望某个大型实验室能尝试一下。

---

[1] 关于去束缚的力量的一个例子，请考虑Claude Code或OpenClaw以及随后（短期和长期）智能体工具的爆发。

[2] 显然“激励”和“注意到”是隐喻用法。

[3] 这一切都远在xAI使用“Grok”一词命名其LLM之前。（顺便说一句，我认为这是Gwern用“弹射”来描述同一事物的原因）。

[3.5] 根据Fable的估算，Gwern计划的成本约为30-100亿美元。

[4] 在这个模型规模下，25T tokens的训练数据，利用率为33%，大约相当于六百万H100小时，而一个100k GPU集群每两天半就能产出这么多。

[5] 这里有两个有趣的反例。首先，BabyLM是一个年度挑战，旨在非常小的数据集上训练强模型。已经进行了四年，但基本不成功（也就是说，似乎没有人开发出在泛化上表现出量子跃进的模型）。其次，这篇论文尝试在有限数据上训练一个90亿参数模型，没有看到大的跳跃。我认为Gwern会回应说这些模型太小了——它们无法记住足够的训练数据来grok，而且可以说训练时间也不够长。

[6] 这里一个常见的反对意见是说人类从视觉、触觉、声音等细微之处获得了无限多的感官数据。我同意Gwern，这不令人信服：感官数据很大程度上是可预测的，文本信息密度惊人地高，而且如果这是真的，那么聋盲人应该会明显缺乏流体智力（但他们没有）。

[7] 或许像Mamba那样的状态空间推理，但（目前）行不通。