AI还要多久赶上顶尖AI研究员？作者：几年甚至几个月
非常感谢Max Farrens、Gabe Fried和Thomas Larsen在本文写作和研究的相当大一部分过程中与我合作。你可以在YouTube、Spotify和Apple Podcasts上观看或收听我朗读本文。
如果你在今年早些时候问我，我们距离超级智能还有多远，我大概会说至少还得有好几年。但在过去三个月里，我的观点发生了巨大转变。我一直在播客内外与人辩论这个问题。我也一直在观察AI在可验证领域取得的进展，并思考这对AI研究本身意味着什么。
我现在认为，距离出现能在AI研究上媲美最顶尖人类的AI，我们只差几年，甚至可能只差几个月。我还相信，自动化AI研究将把如此多的进展压缩到一年之内，以至于不久之后（到2030年，但最早可能就在明年），我们就会拥有在每个领域都至少和最顶尖人类专家一样优秀的AI。我知道这是一个疯狂的主张，几个月前连我自己都不相信。让我带你回顾我的想法是如何改变的。
在我们进入更具推测性的论证之前，我想指出，我们有大量证据表明，AI已经在显著加速前沿AI的进一步进展。
例如，独立评估机构METR在Anthropic内部驻场三个月后得出结论：Anthropic在范围明确的任务上的整体进展速度是一年前的两倍，而且“如今这种加速的大部分很可能归因于Anthropic广泛使用AI来做研发。”
OpenAI在9月发表了一篇博客文章，其中显示OpenAI研究人员中AI使用量最大的10%用户，从夏天开始时每天使用约1000美元的内部编码智能体，到8月底已超过每天7000美元。
9月，Anthropic也发布了一篇关于自身AI提升的类似文章。他们报告称，截至8月，Claude“主导”了Anthropic超过26%的AI研发工作——而就在2月，这个比例还不到1%。[1]
当我思考AI自动化AI研究这件事可能有多重大、以及可能多快发生时，对我来说一个非常重要的认知更新，就是看到AI在数学领域的能力爆炸得有多快。当前的AI正在数学中切穿范围明确的问题，如同热刀切黄油。仅仅两年前，我还问过Dario，为什么LLM不能利用它们在如此多不同领域的广博知识来连接不同想法并做出新发现。你瞧，现在我们到了这一步：在像数学这样完全可验证的领域，AI正在进行这种搜索与匹配式的发现，规模之大，以至于数百个重要成果（世界顶尖数学家和计算机科学家花了几十年试图解决）正作为附带任务被批量产出，用来为未来模型发布造势。
我们从2023年的“这个模型不能可靠地做四位数加法”，到2024年的“这个模型几乎解不了高中数学竞赛题”，到2025年的“哦，它能在国际数学奥林匹克拿金牌”，到今年早些时候的“哇，它在解未解决的Erdős问题，但也许只是因为没人尝试过这些特定问题，而且文献中已有类似解法”，再到大约一个月前的“好吧，它他妈的在88小时内解决了一个千禧年大奖难题”——这速度快得离谱。
小说《伊甸之东》中有一句话：“关于神的陨落，有一件事是确定的：他们不会只坠落一点；他们会轰然碎裂。”
确实，进展不成比例地偏向数学中依赖验证的部分，比如寻找反例（而不是提出新理论）。Toby Ord最近发了一篇很好的文章谈这一点。他写道：“虽然当前的AI系统开始自动化数学证明，但目前几乎没有证据表明它们能提出有力的问题或发现深刻的新数学研究领域。”
但换一种说法表达同一观点就是：当前的AI系统已经解决了一个千禧年大奖难题，而它并不具备提出有力问题或发现深刻新数学研究领域的能力。
而这种解决范围明确问题的能力，对机器学习研究的重大意义将比数学（广义上）更大。这是因为数学研究的目标不只是证明或反驳一长串猜想，而是扩展人类对数学概念的理解。提出拓扑学、群论或笛卡尔坐标系的想法，远比确切知道从n个点中能组成多少对相距一个单位的点更重要。我们关心这些深奥问题，主要是因为它们可能引出新的数学理论。
但在AI研究中，优先级正好相反。AI实验室主要关心的是任何新算法配方在经验上如何让训练更高效或激发出更聪明的模型。他们不关心理论本身，而且过去十五年半我们在深度学习上取得的所有进展，本来也不需要多少新理论。在机器学习中，类似于硬啃随机猜想的做法会非常有价值，而在数学中则不是。
AI研究实际上与当前AI特别擅长的那类数学进展惊人地相似：通过结合惊人的坚持和连接大量相邻领域想法的超人能力，来解锁大量低垂果实。
例如，让我们谈谈Transformer架构。我的朋友Sholto Douglas是一位AI研究员，他有一篇常年半途而废的博客文章，解释你本可以比人们实际做到的时间早两年发明Transformer。也许这篇文章能让他别再拖延、把它写完，但与此同时，我会总结一些我与他关于那篇文章内容的讨论。
在Transformer论文2017年发表之前，许多研究者已经发现注意力是一种更好地并行化训练、在更长序列间传递信息的方式。当时活跃的研究者Chris Olah说过：“当时我的感觉是，Transformer架构是许多各自独立有效的想法（注意力、残差网络）的自然组合，只是被推到了相当激进的程度。”换句话说，对当时领域内的研究者来说，核心部件没有一个是意外。
那么为什么人们没有更早发明Transformer？一个原因是，只有当你把另外半打调整和创新连接起来之后，这种新架构才明显优于当时的最先进水平。尽管这些都在文献中存在多年，[2]但没人知道如何把这些拼图拼起来。做到这一点当然需要研究品味，但也需要大量大量的小实验。
但我上面描述的——持续而聪明地匹配数十种不同想法组合——正是AI在数学贡献中展现出的特别擅长的能力。
这一切是说，即便是Transformer——可以说是自2012年AlexNet开启深度学习革命以来ML最大的突破——也是那种如果Chris Olah让Claude 7努力让这个注意力机制更好地工作，Claude 7就可能发明出来的东西。
我想澄清，AI研究的某些部分实际上比数学更难以验证。这就是为什么OpenAI没有解雇所有研究员，尽管它拥有一个能自主解决千禧年大奖难题的模型。但我认为AI研究的可验证性足够高，AI很快就会在这方面和顶尖人类一样优秀。解释原因需要深入AI研究实际运作的细节，因为这些细节有趣但技术性强，我把它们留在了附录——如果你好奇，结论之后继续读。但与此同时，我会给出我对何时到达那一步的估计。
如果让我选择自动化研究者与最顶尖人类AI研究者一样优秀的中位年份（并假设实验室不有意放慢），我猜是2028年。
为什么我认为AI能在两年内达到这种水平？在每个我们能检查答案并给AI数千轮练习的领域——例如竞技编程比赛，或范围明确的开放数学问题——它们都在几年内从不如大多数人类，变成优于最顶尖人类。而正如我在附录中详述的，AI研究具有同样的可验证特性。
当然，让像Ilya Sutskever这样的顶尖AI研究者如此优秀的一大部分因素无法直接验证——例如他能在多年前押注正确研究方向的能力。但正如我们在数学中看到的，模型泛化远超它们直接受训的内容。OpenAI的模型显然不是通过解决其他千禧年大奖难题来训练的。它是在大量不那么宏大、更可处理的数学问题上训练的，并从中泛化到解决一个人类从未破解的问题。我预计AI研究也会如此：数千轮可验证研究任务的练习，加上每一代新模型都比上一代广泛更聪明，将使模型即便在AI研究中我们无法直接检查的部分也表现出色。
我想明确，这个里程碑有相当大的概率会花更长时间，因为AI研究的某个重要部分仍然难以自动化。我猜有25%的概率直到2032年之后才会发生。[3]但我也认为事情可能快得多，我们可能在2027年达到这个里程碑。我认识的一些最了解情况的研究者，过去几年预测记录非常好的人，预计AI最早明年就能在AI研究上击败最优秀的人类。而2027年也是把METR的发现——Anthropic的AI进展速度一年翻倍——代入起飞模型的直接推论。
正如前嘉宾Ajeya Cotra在一篇关于该报告的博客文章中所说：
> 如果我们按字面接受AI现在几乎使AI能力进展速度翻倍，并假设来自AI的加速是平滑的，这朴素地意味着我们会在一年内达到极端超级智能。
我的中位数不是那么早的原因，是我对这种直接建模的准确性不确定。但如果明年就达到这个里程碑，我们不应感到惊讶，我们应该为这样的世界做好准备。
一旦AI在AI研究上和最优秀的人类一样好，算法进步将急剧加快。这有三个重要原因：自动化研究者会快得多，它们每一个都会非常聪明，而且数量会多得多。
今天的AI已经以大约人类10倍的速度工作。[4]而自动化研究者还会全天候工作，包括夜晚和周末。结果，每个自动化研究者每个日历周塞进的工作量大约是人类研究者的50倍。
当然，这并不意味着AI进展会立即加速50倍。这些自动化研究者仍会受限于实验算力，而实验运行速度并没有变快。所以会有边际递减。但即便边际递减极其陡峭，仅此一点就会让算法进步比现在快许多倍。[5]
而这还没有考虑一个事实：在这种情景下，每个自动化研究者在AI研发上都至少和最优秀的人类一样强。
我的感觉是，某个前沿实验室大约80%的算法进步由其前50名研究者驱动。扎克伯格愿意花数亿美元收购业内最优秀人才，不是没有原因的。因此，你还会从这样一个事实中获得另一次大幅加速：这家自动化公司里的每一个工程师和研究者都将达到当今前沿AI实验室最优秀人类的水平。
给一个问题投入更多工作者并不总是有帮助。例如，一群智能体可能无法比单个智能体更快地写出一部伟大小说。但其他任务适合并行化：例如，看下面的动画，展示一群不同的Claude合作形式化费马大定理。这一壮举有数千个模块化子任务，每个都可以独立完成，每个智能体都可以本地检查自己的工作是否成功。
AI研究更接近于形式化定理，而不是写小说，因为有很多独立的模块化工作要做，而且有可验证的进展代理指标。这意味着智能体群体可以尝试一千种不同方法，看哪种表现最好，而且它们可以针对流水线的每个不同部分独立进行。AI公司已经由数十个独立团队组成，各自研究模型开发的不同部分：一个团队改进预训练数据的过滤方式，另一个帮助设计特定类型的合成RL环境，另一个写更好的注意力内核，等等。在这类不同工作流可以独立完成和检查的领域，投入大量持续爬山式智能体往往会大大加速进展。
再说一次，仅仅增加并行研究者会有陡峭的边际递减。任何在团队中工作过的人都知道，有10万个合作者并不意味着你快10万倍——可能连100倍都没有。但如果你至少不会因为拥有数量级更多的自动化劳动力而快上几倍，那才是不合理的。
因此，更快、更聪明、数量更多的自动化研究者结合起来，将大大加速AI进展。但这种速度会持续吗，会更快吗，还是会放慢？这个问题甚至比初始速度实际是多少更重要。
这里有两个相互竞争的趋势。随后的进展速度将取决于哪个更强大。一方面，由于RSI，自动化研究者将继续变得更快、更聪明、更充足。另一方面，AI研究将越来越难，因为所有容易的想法都被智能体群体吃掉了。
顺便说一句，“想法越来越难找”是已经发生的事情。AI公司每年必须把研发算力翻两番、劳动力翻倍，才能维持同样的进展速度。
如果AI变聪明的速度快于想法变难找的速度，那么我们就会得到所谓的“纯软件奇点”。在这种情景下，即便不增加算力，AI群体也会迅速制造出越来越聪明的自身版本，直到在几个月内，我们最终得到一个逼近当前芯片物理极限的超级智能。
但如果想法变难找的速度快于RSI让AI更擅长研究的速度，我们最终会得到我所说的“火花”。我们会在一年内获得大约三到六年的AI进展。[6]然后事情会平息下来，直到我们建造更多算力，因为即便是超级天才的自动化研究者，也需要运行更大实验才能取得进一步突破。
如果非要选，我会给“火花”情景50%的概率，“纯软件奇点”50%的概率。
不过要明确，即便是“火花”情景——自动化AI研究后的第一年取得约四年进展——也会感觉疯狂。那是在短短12个月内从GPT-3.5跳到GPT-6 Astra那么大的飞跃。提醒你这飞跃压缩的进展规模：GPT-3.5能写一首勉强过得去的打油诗，自动补全一个简单的Python函数，但基本上是个没用的玩具；而Astra能从零构建整个电子游戏，并产出菲尔兹奖级别的数学贡献，多到我们已经麻木了。
过去四年，我们从一个学龄前儿童变成了一个神童实习生。如果你再做一个同样大的跳跃，但从2027或2028年开始，你可能会得到一个在哪怕稍微可验证的领域都远超人类的智能。例如，它在提出下一代AI加速器方面会比Nvidia更强。它会比当前人类版的Citadel和Jane Street更赚钱（如果它有同等市场准入）。如果你给它远程访问材料科学实验实验室的权限，它在寻找室温超导体方面会比全人类更强。
现在，你可能会问：即便是在数据中心里训练出来的超级智能，要如何在那些人类专业知识的基础是多年现实世界经验的领域击败人类专家？
我们目前让AI变聪明的方式，是在数据中心内可自动评分的任务上对它们做RL：AI写的一百万行新代码通过单元测试了吗？AI解决了更多开放数学问题吗？但当然，世界大部分不是这样的。我在最近一篇文章中提出了这一点：
> 我们要如何训练AI建立企业？你要如何让AI真正擅长赢得法庭案件？或在市场上做有利可图的日内交易？或帮助候选人赢得选举？这类部署需要与世界互动，无法简单地在数据中心内重建。
那么超级智能要如何擅长这类事情？让我明确：我不认为我们可以把每个现实世界问题的答案直接烤进权重。相反，我的主张是，扩大RL训练将赋予AI在新情境中快速提升所需的能力，即便是在上述难以验证的领域。
真正擅长任何复杂任务需要两样东西。一是领域特定知识。另一是更通用的技能组合——有能力的人类拥有的那种——比如能够寻找相关信息、制定计划、在错误和障碍中推进、记录所学、并与他人协作。
在智能爆炸期间，自动化工程师将建造比我们现在多数万倍的RL训练环境。这些环境将比今天的远为长时间运行、更高质量、更开放，覆盖范围也广得多。
AI将学会在无数不可思议的虚拟世界中前行，每一个虚拟世界之于今天的电子游戏，就像布加迪之于马车。这些游戏将远比任何为人类娱乐而制作的东西更难、更混乱、更庞大、更真实。它们将要求AI在长时间内与其他AI团队合作或竞争。例如，一个AI将被丢进一个繁荣的模拟数字经济中，里面充满数百万其他AI，并被要求共同创立一家成功公司。而且这个AI不会只是思考理想的公司结构……它将经历一个涉及数百年公司竞争的演化过程，以找出最优组织技术。
AI还将通过对科学、技术、政治和文化史上一切事物进行无尽回测来训练自己——它们必须预测曾经发生过的每一项发现、发明、战争、选举和季度财报。这里有一个预测训练任务：给定一个不包含1700年之后任何信息的训练语料，AI能想出广义相对论吗？这远早于任何人类可能发现GR的时间。另一个例子：给定1962年之前的每一篇报纸文章，AI能预测古巴导弹危机将如何展开吗？[7]
而且自动化研究者将要改进的不只是训练数据。它们还将通过在线学习和样本效率方面的突破，从根本上改进基础学习算法本身（这两者都有可验证的代理指标，正如我在附录中讨论的）。正如人类从数据中学习比当前LLM高效得多，未来的AI在学习效率上可能远超人类。
为什么我认为会看到大量从可验证任务到这些更通用技能的迁移？一个原因是，即便在智能爆炸期间RL训练规模的万分之一，我们已经看到大量泛化。如果你把Claude Code或Codex指向一个它从未见过的项目，它知道如何定位自己，弄清楚各部分如何组合，然后处理一项雄心勃勃的任务。
当然，衡量模型在不易验证任务上的进步很难，因为如果我们能……那些任务就可验证了。但你可以去和一个新模型聊聊，与旧模型比较。根据我的经验，AI在与我写这篇文章所需研究的抽象问题无关的事情上已经变得好多了。[8]
迁移的另一个重要证据是人类演化。我们的通用心智架构是由演化发展出来的，而演化是一个优化过程，其验证器非常粗糙：你的基因传下去了没有？在祖先环境中，影响这一结果的任务包括狩猎、抵御捕食者、维持部族地位。
这些只是人类今天能够处理的任务类型的极小一部分。演化并没有专门优化我们去写普利策奖传记、制造先进半导体、领导数百万人的国家，或提出新的数学分支。但在优化我们在稀树草原上生存的过程中，演化构建了一个通用学习者。
在训练这些AI时，我们运行着类似的过程，只是我们是有意为之，任务与当今世界成功所需更为接近。而且与演化不同，AI公司正试图在训练期间改善迁移（例如，确保在训练中留出的困难任务上表现提高）。如果连愚蠢、盲目的演化都能从构建一个在稀树草原上有效自我传播的心智中获得这么多迁移，那么AI公司为构建一个灵活通用、能在任何新情境中快速提升的智能而付出的刻意努力，应该会走得更远。
现在，即便是超级智能学习者也无法从数据中心内部弄清楚一切。所以即便这些AI也需要一些现实世界经验。但我认为它们获得这种经验的速度会比人们预期快得多，而且它们会在部署后几个月内击败顶尖人类专家。
老实说，指导我所有这些直觉的一点是，我有很多二十多岁的朋友，我看着他们在毫无先前经验的领域取得不可思议的成就，建立世界领先的公司和事业。
历史上满是超级能干的年轻人，他们把自己被丢入的世界玩得团团转。到27岁时，拿破仑已经对欧洲其他大国远为庞大的军队取得一个又一个胜利。到25岁时，洛克菲勒进入石油业仅两年，就经营着世界上最大的炼油厂之一。
洛克菲勒和拿破仑需要经验，是的，但只需要几年，而不是几十年。不管那些人脑子里发生了什么，AI应该能够复制（甚至超越：没有理由认为人类是从经验中快速学习的上限）。
此外，与拿破仑或洛克菲勒不同，AI可以在短短几周日历时间内积累数年的部署情境。例如，想象你想让这些未来AI之一比现任CEO更好地经营一家财富500强公司。它能多快提升？好吧，如果你让它跟随那位CEO，它在第一个早上就可以阅读公司曾经产生的每一封邮件、每一条Slack消息和每一份文档。到第一天结束时，它的并行副本可以采访每一位员工和主要客户，累计完成一个人需要数月才能完成的工作量，然后再合并回去。显然，有些反馈——比如你的行动如何影响季度收益——需要数月的串行时间。但即便承认这一点，我们也应预期这些未来AI在部署后几个月内就能在几乎所有领域达到顶尖人类表现。在中位情景中，那仍然是2028或2029年。
记住，即便在火花情景中，这一切也发生在AI研究完全自动化后的头一两年。事情不会就此停止。因为即便软件进展逐渐停滞，AI也会通过帮助增加算力继续添柴。即便没有AI帮助，全球AI算力也一直以每年约3倍增长。而从火花中诞生的AI将在帮助我们继续扩大算力方面呈现出参差不齐的超人能力。它们在设计AI芯片、规划新晶圆厂布局，甚至远程操作机器人帮助建造部分晶圆厂和数据中心方面会极其出色。
所以在火花情景中，AI能力继续提升，但由于其进展由建造更多芯片、数据中心和机器人驱动，达到纯软件奇点本可在几个月内实现的同一终点——一个对我们而言就像我们对黑猩猩一样的超级智能——需要数年。
在下一篇文章中，我将阐述我预期这些心智会是什么样，以及我预期它们将如何改变世界。
此前我承诺解释为什么我认为AI研究在很大程度上是可验证的——所以我就从这里开始。之后，我会讨论我认为对我的RSI论证最强的反对意见。
我最想在开头指出的一点是，因为预训练和后训练是可验证的（如下所述），所以AI相对于人类最令人恼火、最重要的缺陷——即缺乏样本效率——的进展也是可验证的。如果你想让神经网络获得某种能力，你必须喂给它比人类学习同样东西多得多的数据。
但每一种样本效率都是可测量的。你可以测量达到给定预训练损失需要多少数据，在RL环境中达到给定分数需要多少任务，甚至仅靠上下文学习在一次会话中达到期望表现水平需要多少反馈和时间。
样本效率和在线学习实际上是同一问题的两面：如何快速高效地从现实世界数据中学习。几十年来，人们一直认为这是机器学习中最深刻的开放问题——AI的千禧年大奖难题。而数学已经向我们展示了这类问题会发生什么，即便它们非常困难，只要它们可验证。
好吧，为什么我认为样本效率、在线学习以及ML中其他问题的进展是可验证的？AI研发大致有三个大类：预训练、后训练和推理效率。如下文将解释的，每个都有强大的可验证代理指标，容易用来训练。而由于它们共同构成全部算法进展，这意味着AI进展总体上容易用来训练，这在某种意义上不应令人惊讶。我们可以让模型在数据中心内可测试的事情上变得好得多。而AI训练字面上就发生在数据中心内。
请记住，这种可验证性有价值有两个原因。第一，它允许AI公司通过数千轮练习对模型做RL，使其在AI研究的特定部分变得更好。第二，这些代理指标让智能体更容易并行工作，因为它们可以在合并贡献前本地检查自己是否击败了某个排行榜。
当你在构建GPT-7时，你可以对它做RL，使其更擅长寻找预训练算力倍增器。例如，你可以设定一个RL目标：GPT-7必须最小化它将一个GPT-2规模模型训练到固定预训练损失所用的算力。[9]
而一旦GPT-7建成，你可以部署一群智能体，弄清楚如何将一个GPT-3规模模型训练到尽可能低的困惑度。留出测试集上的损失——预训练进展的基础——极其容易验证。[10]
当然，在小规模有效的东西不一定在大规模有效。而且需要有品味来预见哪些有希望的小规模改进在组合进更大模型时真正会结果。但这种直觉也是可训练的——例如，你可以做一个RL环境，让GPT-7预测在1亿参数规模做出的算法改进是否会在100亿参数规模成立。虽然这个“品味测试台”环境比nanoGPT速通更昂贵，但如果你有前沿实验室规模的算力，训练它仍然不算太难。所以即便是研究品味的重要部分也是可验证的。
仅自动化预训练，你就会大幅加速AI进展。这有三个重要原因：
第一，预训练会带来模型智能和能力的非常通用的提升。这背后有深层解释，与压缩和智能之间的联系有关，如果你想了解更多，应该看看3Blue1Brown的这个精彩视频。
第二，随着你做出预训练改进，你可以训练一个越来越小、但与之前更大模型同样好的模型，而且训练更快、更便宜。这不仅加速预训练，还使你在这个基础模型之上的实验和RL rollout更高效。[11]而由于你的自动化研究者也是这个现在更小模型的实例，你现在也能支持更大的研究者群体。
第三，因为更小的模型训练更快，这收紧了RSI循环本身。在RSI期间，实验室可能不会做横跨多个数据中心园区、为期三个月的预训练运行。自动化研究者大军会如此迅速地发现算法创新，以至于当一次巨型运行完成时，它已经被一个一周前才开始训练的 much smaller 模型淘汰。这类似于：如果你用今天的技术发射一艘飞往半人马座α的飞船，它很可能会在途中被一百年后发射的飞船超越。此外，由于你在可以每天运行数千次实验的规模上更快地训练更小模型，你不必押注小规模结果会在更大模型中成立。你已经在你要训练的规模上测试过了。
即便在今天的参数规模下，基础模型还能好多少？我认为潜力巨大。我们远未达到预训练的极限。AI实验室Magic最近宣布，他们预训练了一个模型，匹配当今领先的开源基础模型，比如DeepSeek V4 Pro，而所用算力仅为训练原始GPT-3所用算力的一半（今天大约50万美元）。数量级的进一步提升似乎完全可信。
后训练有三个不同的可验证代理指标：
第一，你的自动化研究者可以尝试改进你的后训练算法，使得如果你要在一组新环境中做RL，所需算力、数据或时间更少（全都容易测量）。
第二，你的自动化研究者可以致力于让模型更擅长即时学习。你可以轻松测量这方面的进展。例如，如果你把模型丢进一个它从未训练过的环境，它多快学会发生了什么并弄清楚如何获得好分数？它多快在一个从未玩过的电子游戏上变得更好？你也可以有更多衡量这类元学习的现实世界任务。看看字节跳动的EdgeBench，了解此类任务的例子。[12]
第三，你也可以直接测量AI研发能力。Anthropic有一个内部基准叫CoBench，包含大约500个其研究者和工程师今年解决的真实问题。每个基准也是一个RL环境，而这样的RL环境将允许Anthropic让模型练习重做人类前沿过去三到六个月的进展。
AI研发的另一个重要部分是设计模型及周边软件，以从算力中榨取更多 juice。这尤其可验证。你可以轻松测量GPU利用率、每token KV缓存大小、前向传播总FLOPs、延迟等。
现在我想处理对我的RSI论证最强的反对意见。
我想明确，这些瓶颈是严重的，它们确实压低了最激进起飞的概率。这就是为什么我认为我们会在2028年实现GPT-3.5到GPT-6规模的跳跃（而不是明天就开始的某种疯狂一夜奇点）。
但我认为这些瓶颈并不会完全消解这个未来的疯狂性（而且瓶口实际上相当宽）。让我解释为什么。
过去一年半我一直在论证，今天AI缺少的主要东西是从在职经验中改进的能力。每个新会话都是它们上班第一天。而在每次会话中，它们只能保留几个小时的信息，所以它们不会积累数周或数月内到来的反馈或诀窍。去年12月，这是我怀疑我们会很快自动化AI研究的主要原因。正如我当时所写：
> 不知怎么的，这个自动化研究者将找出AGI的算法——一个人类近百年来一直撞墙的问题——却没有儿童拥有的基本学习能力？我觉得这超级不可信。
以下是我认为当前缺乏持续学习不会阻止到2028年完全自动化最优秀AI研究者的原因。
第一，AI公司到那时可能就用与现有架构非常相似的架构解决了持续学习。以前，我认为我们受限于某种疯狂突破，让模型能在每次会话结束时更新自己的权重。但现在我认为，扩大上下文学习，使会话有效长达数月，可能就足以让单个实例有效在职学习。而且有很多很多有希望的想法可能让实验室实现戏剧性更长的有效上下文窗口。[13]
第二，你可能不需要持续学习者来解决持续学习。如上所述，在线学习是一个有清晰可验证代理指标的ML研究问题。如果你两年前问我，纳维-斯托克斯方程和持续学习哪个更难解决，我不会明显认为答案是纳维-斯托克斯。事实证明，鉴于实验室尚未破解持续学习，它更难。但你是否如此确信它难得多，以至于比当前解决千禧年大奖难题的模型聪明一两年的非在线学习模型无法破解它，即便它们像当前模型一样失忆？
这些模型在解决千禧年大奖难题，同时仍然是笨拙的神童实习生，没有长期记忆。这就像看着某人侧手翻沿跑道前进，却仍能与尤塞恩·博尔特并驾齐驱。如果允许他们真正跑起来，我 sure 他们会更快。但谁又能说他们不能一边侧手翻一边赢下这场比赛？
话虽如此，我认为我们有可能在未来几年内解决不了持续学习，而且模型无法通过其他优势弥补这一缺失能力。这就是为什么我给到2032年之后才能自动化Ilya级别研究者25%的概率。
有人可能会说，我列出的所有可验证代理指标都假设当前范式。但首先弄清楚要验证什么目标——选择让GPT-7爬哪座山——本身就是AI研究的重要部分。这就是所谓的“研究品味”。2018年之前，几乎没人认为最小化下一token预测损失是通向AI进展最可行的路径。所以没人会费心构建nanoGPT速通环境，让智能体群体练习减少达到某个预训练损失所需的算力。
难道不需要跨越多个新范式才能从这里到达ASI吗？每个新范式不都会有某种我们事前不知道的新相关代理指标吗？自动化研究者在RSI期间要如何找到这些？
我有两个回应：
Transformer在现有翻译基准上是可见的（事实上就是为了击败它而发明的）——推理模型以及先前存在的编码和数学基准也是类似故事。在“范式跃迁”之前制造的代理指标似乎完全能够捕捉性能的大幅阶跃变化。这是因为AI学习算法相当通用。
提出范式无关的外循环代理指标并不太难：你的模型解决了多少个千禧年大奖难题；如果你用1905年前的数据训练模型，它需要多久发现广义相对论；它多快掌握完全未见过的电子游戏；等等。
总而言之，我认为对RSI影响的其他反对意见要强得多——如果这最终成为RSI不重要的原因，我会非常惊讶。
数据不是AI进展的主要输入之一吗？如果数据不以同样速度扩张，RSI如何发生？
我的回答是，数据在RSI期间将继续增长，但AI将是编译数据的一方。为预训练和后训练生产更好的训练数据本身就是一个ML研究问题，而AI在这方面越来越擅长自己来做。[14]
确实，数据是AI研发中极其重要的输入。Jerry Han和我实际上对此做了一些研究——我们发现，在预训练方面，过去六年中，来自数据改进的算法进展是来自模型改进的三倍多。
然而，我认为人们没有意识到，预训练中的这些“数据”改进非常符合正常的AI研究工作——基本上是弄清楚哪些过滤现有数据或生成新合成数据的技术在经验上导致留出语料上的损失更低。[15]
类似的事情在RL中似乎也越来越成立。DeepSeek刚刚发表了一篇论文，谈论他们如何后训练新模型。他们说，基本RL算法的改变远没有那么重要，“合成数据和环境的规模、多样性和可验证性的系统性改进，基本上解释了所有观察到的增益。”
而这些环境的制造方式正变得越来越自动化：“我们投资于大规模、自动化的数据合成和环境构建流水线……使用难度和正确性作为奖励信号，我们迭代训练模型构建更好的任务。”
此前，我在当前数学加速与我们应该预期AI研究中发生的事情之间做了一个扩展类比。但AI研究和数学之间有一个很大的不同。在数学中，你可以用纸笔推理出新的发现。在AI研究中，你需要运行实验来验证你的想法，这需要算力和时间。而随着自动化研究者数量增长，每个研究者获得的实验算力总馅饼份额越来越小。
我对这个反对意见的回答是，每个智能体仍然会获得大量算力。前沿实验室每年的算力增长超过四倍。如果这一趋势继续，那么到2027年底，OpenAI可以给数千个智能体每个足够每天运行一次GPT-3规模训练的算力。[16]
请记住，2017年原始Transformer论文中训练的最终模型，在8块P100上花了3.5天——今天租用大约50美元（约为GPT-3训练算力的万分之一）。
如果顶尖人类AI研究者，比如Noam Shazeer和Ilya Sutskever，有足够的实验算力每天训练一个GPT-3规模模型，他们的进展可能比现在更慢。但如果他们完全无法取得有意义的进展，只是坐下来开始抱怨他们的集群太小，那会让我极其惊讶。现在，你认为一个AI实验室会有多高效，如果它有数千名优秀研究者，每人有这么多算力，每人思考速度快10倍？你不想给这个新实验室写张支票吗？
今天实验室研究和实验的性质反映了研究者时间相对于算力极其稀缺——顶尖AI研究者个人年收入数亿美元。所以实验室今天如何使用算力，几乎不能告诉我们如果算力而非研究者时间成为关键瓶颈，它们能多高效地使用算力。
RSI智能体群体将以比今天研究者更有效的方式使用实验算力，主要有两种方式：
立即地，它们可以用劳动换算法。为了节省宝贵的研究者时间，今天的实验是、也应该是非常浪费算力的。今天的人类研究者可能不会费心设置和仔细监控大量小规模预训练实验，而是并行启动几个大型多智能体RL运行。但如果你受限于实验算力，你可以多做前者。
当这些自动化研究者进行RL运行时，它们可以阅读每一条rollout记录，如果某个任务坏了，立即暂停并重建整个环境。它们可以做疯狂数量的小规模模型消融，让模型稍微好一点点。而当一组智能体决定合并算力做更大运行时，它们可以花许多主观几十年设计信息量最大的 pooled 实验，一旦运行完成，它们可以再花主观几十年全面分析，然后再设计新实验。
这些自动化研究者还可以提出更好的从小规模实验学习的科学。缩放定律本身就是好例子——GPT-4论文说，他们能够用算力少10000倍的训练模型预测该模型的最终损失。更聪明、更快的自动化公司会做的事情之一，是试图发现更多类似muP的缩放现象（muP让研究者从100倍小的模型预测更大运行的最优超参数）。还有多少类似发现？我记得和一位AI研究者聊天，他认为从极小的神经网络学习可能极具信息量。他是这样说的：“上面的神必须遵循与下面的蚂蚁相同的原理。”
总之，感谢你坚持读完附录。我很快会分享下一篇关于超级智能的文章。
[1] 他们将“主导”定义为“从高层提示端到端完成大部分任务”，同时人类监督。完全自主工作的比例——Anthropic定义为“AI完全自主运行，无人在环”——仍然是0%。但请记住，Claude主导的份额在2月也基本是0%。现在不到10%的工作低于Anthropic所谓的“协作”水平，即Claude“在人类密切指导下完成大块工作”。
[2] 正如Sholto将在他的博客文章中展示的，基于注意力的架构除非你同时有残差连接（2015）、层归一化（2016）、Adam优化器（2014）、混合MLP层、位置编码和学习率预热，否则并不比LSTM表现更好。
[3] 即便在那个世界，AI进展也会在2032年之前大幅加速，因为AI不需要自动化研究者的整个工作就能让它们快得多。假设AI在它们能做的每项任务上比人类快50倍，其余仍以人类速度进行。如果AI能做研究者一半的工作，研究者只快约2倍，因为人类那一半仍然花同样长时间。到90%，研究者快约8.5倍；到99%，超过30倍。这就是阿姆达尔定律：你无法加速的工作决定节奏。
[4] OpenAI说，GPT-5.2——比今天的模型更笨、效率更低——在其GDPval基准上完成任务比人类专家快11倍。原始生成速度也指向同一方向：前沿模型每秒输出约60个token，大约是人类说话速度的13倍，打字速度的50多倍。
[5] 我的直觉来自Ryan Greenblatt和Eli Lifland的一篇精彩文章。这里有一个改编自他们的思想实验：想象一个“慢速”版OpenAI（我们叫它SlothAI）。它拥有与真实OpenAI相同的算力，但其研究者每周只工作一小时。他们是世界上最懒的研究者。SlothAI的进展会慢多少？肯定不是慢50倍——即便研究者一周98%的时间在打瞌睡，实验也可以继续运行。但SlothAI的人用仅仅一小时的劳动，真的能设计和分析多少仔细的实验？SlothAI将被迫比真实OpenAI更浪费算力。在我看来，直觉上SlothAI最终算法进展至少慢五倍。
但与一家满是自动化研究者的公司相比，OpenAI就是SlothAI。所以任何让SlothAI生产力更低的东西（例如，他们的研究者用于头脑风暴不同想法、分析和设计实验的时间少得多），也适用于OpenAI。人类思考速度是生物偶然。如果我们的速度恰好是思考更快不再有用的那个点，那会是个奇怪的巧合。
[6] 这个一年内三到六年AI进展的估计，实际上对应那一年四到九年的原始算法进展。这是因为那一年训练算力没有增加多少，所以你需要额外算法进展来弥补。这是一个相当激进的估计！在高的一端，这就像从发明Transformer一路到在一年内获得GPT-6的算法配方。
[7] 你还可以对数百万其他历史问题做预测训练，在每个问题的训练中，AI可以思考数百小时，甚至可能在给出答案前为相关领域构建计算AlphaFold类模型。
显然，由于世界的固有混沌，有些预测即便对超级智能也不可能。但很多并非如此。从这类训练中，AI将获得甚至优于最精明、最有远见人类的科学和政治判断力——它们在预测自己任何即时行动的长期影响方面，会比俾斯麦、李光耀或利奥·西拉德更强。
[8] 更具体的例子：我最近发布了一个我做的评估，让不同模型在这个黑手党风格的社会欺骗游戏《血染钟楼》中对决。最近发布的模型绝对碾压了今年早些时候发布的模型，展现出远为强大的战略推理、长期连贯性、多智能体协调和整体精明。这只是AI普遍在进步的众多评估之一（大概不是直接训练过的）。
[9] 已经有一个这样的公开挑战叫nanoGPT速通，源自Andrej Karpathy对GPT-2类架构的实现。
[10] 调试也是可训练的：你可以向训练运行注入细微bug，并奖励模型找到它们。我在之前一篇文章中写了一些真实预训练运行失败的例子。
[11] 顺便说一句，我的理解是这已经在发生——实验室越来越倾向于训练更小的模型并运行大量实验，而不是简单扩大规模。
[12] 这些智能体必须做的任务包括从嘈杂的LIGO数据中探测引力波、修复正则表达式引擎、学习玩新电子游戏。在这类环境中，智能体可以花大量时间做实验、获取反馈、修改方法。
[13] 当人们谈论持续学习时，他们经常把两个不同问题混在一起。第一个是让单个模型副本像新员工那样，从数周或数月的在职经验中学习。如上所述，我认为这主要将通过扩大上下文学习和构建训练环境来教会模型如何从这类经验中学习。第二个问题是让基础模型本身从部署在经济中的数百万副本的经验中学习，这将赋予它人类永远无法匹敌的超人经验广度。这就是我所说的广泛部署智能爆炸。但你不需要它就能获得匹配个体人类专家的AI。
[14] 事实上，AI无论如何都将被迫超越人类数据，因为模型将在RSI期间超越人类能力（在某些领域已经如此）。
[15] 让我们看看开放预训练语料库及其随时间演变。从我们的博客文章：“我们从2019年的OpenWebText开始，它只包含从Reddit链接来的、有足够赞的网页，然后去重和过滤，因此只有约90亿token（这基本上是GPT-2训练的内容）。到2025年，像UltraFineWeb这样的开源数据语料库不仅大得多（通过抓取整个互联网），而且使用复杂得多的过滤（例如，训练分类器预测哪些数据在经验上改善模型性能）。”这都是基本的ML研究工作。不需要数据中心之外的专业知识。
[16] OpenAI在2025年底拥有174万H100等效算力。如果这在2026和2027年翻两番，那么到2027年底他们约有2780万H100e。按每H100e 1e15 FLOP/s计算，每年8.78e29 FLOP。原始GPT-3最终训练运行大约用了3.14e23 FLOP。这意味着OpenAI 2027年底的算力群每年应能支持280万次GPT-3训练运行规模的实验，或每天约7660次。如果只有三分之一的算力群专用于实验，1万个智能体仍然可以大约每四天各做一次GPT-3规模的运行。