OpenAI研究员：AI 88小时破解千禧年难题，但无法确认是否对齐
与Noam Brown的新一期节目。我们谈到了多智能体、Navier-Stokes方程，以及当前数学领域取得的爆炸性进展告诉我们：一旦自动化了AI研究，会发生什么。我们还讨论了在启动递归自我改进（RSI）之前，我们如何知道模型是否真正对齐。可在YouTube观看；也可在Apple Podcasts或Spotify收听。
多智能体与Navier-Stokes方程
Dwarkesh Patel：今天与我交谈的是Noam Brown，他是OpenAI的研究员。他是后来成为o1及推理模型的基础贡献者之一。现在他正在研究多智能体系统。说到这个，你们上周宣布，你们用一个由10,000个不同AI智能体组成的系统，花了1300亿个token、88个小时，解决了一个千禧年大奖难题。
我对与你交谈感兴趣的原因之一是，你是最早——也许是两三年前——开始思考推理模型将如何让我们预见未来的人之一。因为如果你扩展推理计算，你就可以看到模型几年后的基础能力会是什么样子。
我觉得你现在处于类似的位置，可以帮助我们理解未来能力会是什么样子，考虑到我们现在可以大规模扩展智能体规模。
Noam Brown：我的看法是，当你把这些推理模型的性能绘制出来，横轴是测试时计算，纵轴是基本上任何推理基准的性能，你会看到一个非常清晰的模式：这些模型花越多时间思考答案，它们表现得越好。这是很自然的事情。人也一样。如果你在考SAT，只有五分钟做完整套试卷，你不会考得很好。如果你有五个小时，你可能会考得好得多。
AI模型也相当类似。它们会花时间自言自语，弄清楚问题，遍历不同情况，排除不同可能性，在先前发现的基础上继续构建。
问题是，当你把这一点越推越远，你会遇到延迟瓶颈。你不想坐在那里等三年才得到回应。所以你可以做的是很多人都会做的事：并行化。找一队人。如果你要创办一家公司，你会想集结合适的人，这样你可以进展更快。AI模型也一样。让多个智能体同时做某件事是有帮助的，因为它们可以更快。
所以多智能体是一种将测试时计算并行扩展的方式，而不是纯粹串行。它效率较低，因为不像单个智能体拥有全部上下文。但如果做得好，它是扩展测试时计算的一个非常有效的方式。
Dwarkesh Patel：我要问一堆天真的问题。这是一个未发布的模型，所以我们没有公开看到这些系统是如何运作的。我对这类系统的定性性质有很多困惑。
我感到震惊的是，在这么短的时间内可以集中如此大量的认知努力。想想1300亿个token是什么概念。如果是一个全职工作的单个人类，连续不断地思考，1300亿个token相当于一个人思考了4000年。每天8小时，正常的工作周。从古代苏美尔一直到现在，一个连续的、单一的人类思考那么久，被压缩在88个小时里。
我觉得从定性的角度来说，这是一个非常重要的考量。我很惊讶并行化惩罚没有更大。你只要有10,000个智能体协作就行。也许是因为智能体比人类更擅长协作，它们跑得更快。它们确实可以在如此大的规模上富有成效地协作。或者也许存在很大的并行化惩罚。
Noam Brown：我们先谈谈并行化惩罚，然后我们可以谈谈定性方面。事实是，对于多智能体扩展到这种规模，我们没有很好的科学数据。当我们发布5.6时，我认为那是我们模型中第一次有真正的多智能体系统。我们确实在博客文章中展示了一些多智能体系统扩展性能的图表，因为我们把它作为一个选项。它叫Ultra Mode。默认是四个智能体，但你可以设得更高。
在图表中，我们展示了在某些基准上，一个智能体、四个智能体协作、16个智能体协作的性能。这取决于基准，但对于某些基准，你会看到：如果有四个智能体在处理问题，完成速度会快两倍。因为四个智能体工作一半的时间，你支付2倍的成本来获得快两倍的答案。如果到16个智能体，你会看到类似的模式。效率略低，但你继续看到这种性能。
Dwarkesh Patel：随着并行智能体数量的增加，是线性的串行时间加速，还是次线性的加速？
Noam Brown：略低于线性，尽管这很大程度上取决于问题。例如，数学是相当可并行化的。它不是最可并行化的，但非常可并行化。网络搜索，比如做Deep Research报告那种需要查阅大量来源的工作，是极其可并行化的。我猜想写小说之类的事情是极难并行化的。你很可能不会看到10,000个智能体一起写小说能带来什么大的好处，就像你不会看到10,000个人一起写小说能带来什么大的好处一样。
所以性能确实取决于领域。我们在发布的博客文章中确实测量到了16个左右的智能体。问题是，把这种科学推到10,000个智能体是非常困难的，因为实在太贵了。
Dwarkesh Patel：你们周末就做到了。
Noam Brown：但那只是一个数据点。我们不知道单个智能体解决Navier-Stokes需要多长时间，因为我们还没有做那个实验。也许我们将来会做，但这也只是一个数据点。
如果我们想做彻底的消融实验，在这个规模上成本太高了。所以我们必须在方法论上做一些系统性的研究，看看当你增加到64、128、256或某个数量时会发生什么，从而了解行为模式。但要一路推到10,000个，并确切知道使用10,000个智能体相对于1,000个智能体实际获得的好处，是非常困难的。
有一点我想说清楚。解决千禧年大奖难题的努力，并不是多智能体的功劳。我甚至不会把功劳的10%归给多智能体。现实是，OpenAI训练了一个非常强大的模型。我们可以让这个模型在很长的时间跨度上运作。我们可以让它并行思考。
但核心是，我们能做到这一点是因为我们只是有一个通用的、非常强大的模型。像多智能体这样的东西是花哨和新奇的，因此可能获得了不成比例的关注。但核心原因是这只是一个非常强大的模型。
Dwarkesh Patel：这种泛化能力让我非常震惊。我不知道这些系统是如何训练的，但大概它们就像RL训练那样。你有一堆可检查的合成问题，你对它们做一堆RL。我猜在训练过程中的任何地方，模型都没有解决像千禧年大奖难题那样雄心勃勃的问题。但泛化能力足够强，以至于你可以让这些容易得多的可验证问题泛化到在如此困难的问题上进行如此大规模的并行努力。
Noam Brown：我认为这是对的。首先，我们确实在非常难的问题上训练模型。肯定存在差距。我们看到，如果我们在某些类型的任务上训练，它能够做比这些任务更雄心勃勃的事情。
有一个有趣的挑战是，随着模型变得越来越聪明，我们能问它们的很多问题都太简单了。很难挑战模型。我确实认为这会很有意思。如果我要论证为什么你可能不会看到LLM这样的AI走上AlphaGo和AlphaZero以及这类游戏AI的道路，可能就是这个问题的原因。
在AlphaZero这样的东西中，你有自我对弈，你有无限的课程。你总是和一个同样强的AI对弈。而对于用强化学习训练LLM，至少是目前的方法，你给模型一个问题，让它解决。如果问题太简单，它一秒就能解决，那它实际上学不到什么。
如果我们用完了能挑战它的问题，那么这就是一个可能的情景，进步会变得困难得多。不过，我确实认为有办法绕过这个问题。我们还没有真正碰到这堵墙。我认为如果这成为一个严重的问题，会有办法解决。但这确实是一个可能的情景。
Dwarkesh Patel：为了观众，当你提到AlphaGo或AlphaZero时，你说的是在达到人类水平之后相对较快地达到超人水平。
Noam Brown：如果你看看游戏AI的轨迹，比如围棋，在一年之内，它们从击败欧洲冠军——大概是世界第50名——到击败世界冠军，再到比任何在世人类强出难以想象的、数个数量级的水平。在数学等领域，我们有可能看到类似的轨迹，但我认为有一个非常可能的情景是不会发生这种情况。
AI公司未来如何运作？
Dwarkesh Patel：我想理解，如果六个月后人们将可以使用多智能体系统，人们应该如何建模与多智能体系统协作或雇佣它的感觉？
Noam Brown：我应该先谈谈这些多智能体系统实际上是如何运作的，我认为这与很多其他AI的多智能体系统非常不同。很多人在LLM等领域处理多智能体时倾向于采用这种高度脚手架的方法。例如，可能有一个协调者智能体，把工作委派给一堆子智能体，给它们一个任务。子智能体处理然后返回答案。
这看起来是一个非常合理的设置，非常合理的脚手架。它肯定有帮助，但这类设置有一堆限制。例如，如果在这个设置中，你有一个协调者向子智能体发送任务，子智能体处理后返回答案，那如果两个子智能体被给了类似的任务怎么办？它们能互相交谈吗？通常答案是不能。这非常低效。
如果你被给了一个任务，而实际上与某个可能知道你在处理的问题——或你正在处理的部分内容——的答案的人交谈非常有帮助，那你如果能直接给他们发消息说“嘿，你能帮我解决这个吗”会非常有帮助。但很多系统没有这种设置。加上它会显著增加脚手架的复杂性。
另一件事是，如果子智能体不太理解或有澄清问题怎么办？它必须在“我是直接返回去问问题而不是解决问题”还是“我解决问题，对父智能体想让我做什么做个假设，然后就这样解决”之间做选择。在任何人们想出的脚手架中，总会有限制。我们想采取的方法是走向极端，尽可能少地烘焙结构，给智能体非常原始的工具，让它们自己弄清楚如何有效地使用这些工具。所以我们给智能体向另一个智能体发消息的能力，当它给另一个智能体发消息时，消息会插入到那个智能体的上下文中。它还能做几件类似的事情，但基本上这就是核心。它可以在任何时候发送消息——只是一个工具调用——它可以把它发送给其他智能体。
它们自己弄清楚协调的最佳方式。事实证明，如果做得好，你会得到非常复杂的行为。对我来说，这看起来很像人类协作者在Slack之类的东西上的工作方式。
当我们在这个项目上工作时，最终让它工作起来时，看到这些智能体一起解决问题真的很令人兴奋。我记得一个例子。我们给智能体一个问题，然后一个智能体说：“我想我得到答案了。”然后另一个智能体说：“实际上，我得到了一个不同的答案。”然后它们就展开了讨论：“你是怎么得到那个答案的？你能给我解释一下吗？”来回交流，试图澄清对方的推理中哪里可能出了问题。
然后它们最终收敛到：“哦，对。好吧，那看起来是对的。”然后它向其他智能体广播：“实际上，我改变我的答案了。我认为他是对的。”这感觉就像一次非常自然的对话。
这感觉就像你第一次看到通过强化学习训练的思维链时的那种感觉，你会想：“哦，这就像是人在边思考边写下自己的想法。”就是那种感觉。看到这种行为真的很酷。与这些东西协作，说实话，感觉很像与人协作。就是一种非常自然的流程。
Dwarkesh Patel：除了一个可能在将来变得突出的定性差异：这些系统思考的速度可能会快10倍以上，只要看看它们每秒输出的token数量对比人类说话的速度就知道了。它们一直在工作。它们不睡觉。它们以人类无法与其他人协作的强度互相协作。
我在试图思考一年后在定性上可以期待什么。是不是像一个影子组织，在我的公司里以比人类水平快100倍的速度运转？人类组织需要一年做的事情，在这个影子组织里一周就完成了？
Noam Brown：它会不会感觉很异样？我不知道。我实际上发现现在与这些东西协作出奇地自然。我认为这可能会改变。例如，我们有这些超快模式，可以使采样速度快10-15倍或更快。那时候就很难跟上这些东西了。想法是，这些智能体在相互交流时可以超快运行。但它们在跟智能体说话还是跟人说话时也理解区别，在这些情况下它们的行为会不同。
Dwarkesh Patel：我们公开拥有的复杂的多智能体系统的主要例子，不幸的是Hugging Face那个。那里有很多我觉得显然令人担忧的东西。但我发现有趣的是层级和中层管理的自发涌现。听起来你在说，这种组织水平是从训练中自发涌现的？
Noam Brown：细节是自发的。但虽然在给智能体很多灵活性让它们决定如何以最优方式相互交流时，我们仍然给它们一个起点。我们给它们一个关于合理交流可能是什么样子的先验。它们也在大量人类文本上训练过。它们理解人类如何组织和协调，所以这些都已经被烘焙进去了。
我认为它们能够打磨这一点是令人惊讶的。如果你看看它开始时的样子，并不是很复杂的行为。事实上，让这些智能体以富有成效的方式协调是非常困难的，因为它们很容易坍缩到“哦，我们都独立解决问题吧。”那是一个你可能卡住的局部最小值。但如果做得好，它们最终可以以这些非常结构化的方式非常有效地协调。
Dwarkesh Patel：几年前我写了一篇关于自动化公司会是什么样子的文章。我在想，如果你有完全自动化的、比如说人类水平智能的公司，AI心智的本质有什么不同，会让AI形成的组织有所不同？有几个非常重要的差异。例如，AI可以比人类更无缝地共享上下文。它们可以更无缝地合并知识。而且，你可以启动或关闭任意数量的具有正确知识的实例。
所以如果你想雇更多人，不需要费劲寻找合适的人才之类的。对于你最好的天才，你可以无限复制。或者如果你不再需要他们做某个任务，你可以关闭他们。你可以复制组织中最有效的部分，或者复制整个有效运作的组织。你认为这些多智能体系统一年或两年后会走向何方？
Noam Brown：这是个好问题：这些东西与人类同事合作实际上有什么不同？你提到了一些。一个非常有趣的事情是，如果你有一个人，你想要两个他的副本，你不能直接克隆这个人。但对AI来说，真的很容易说“好的，分叉一下自己”，然后让两个副本都处理这个任务，之后再合并回来。我认为我们已经有了这个，在Astra和5.6 Sol的多智能体中，当它们启动子智能体时，上下文就是被分叉的。所以它有所有相关的上下文。
还有其他有趣的方式，智能体会与人不同。比如，初创公司为什么能颠覆现有企业？有几个因素。一个是它们愿意冒更多风险。但另一个主要因素是，随着组织规模的增长，你会看到组织内个体之间越来越多的不一致目标。
如果你有一个五人的初创公司，每个人在公司占20%的股份，他们都高度对齐于公司成功。如果你有一个10,000人的大公司，你会看到更多的例子，人们有地盘意识，或者只关心为他们的项目或团队争取更多人头，建立自己的领地，获取大量资源以便发表酷炫的工作之类然后升职。这实际上是一个真正的弊端。我认为这解释了很多初创公司为什么能颠覆现有企业。
确实，AI在某种程度上帮助了初创公司。一个人走进来说“我要创办一家数百万美元的公司”比以往任何时候都容易。AI极大地放大了个人。但也可以论证它们可能有利于现有企业。如果对齐问题被解决了，那么公司内部个体之间的不一致目标问题就不存在了。至少被缓解了。如果AI对齐得好，它们可以就对齐于公司的利益。你可以有10,000个它们，它们都会像一个占20%股份的联合创始人一样努力工作。
Dwarkesh Patel：不仅如此，而且它们比不同的人类更能管理共享记忆和上下文。如果明天你雇佣10,000个数学家，说“解决Navier-Stokes”，他们无法有效合作，至少一开始不能。但显然你可以让10,000个AI做到。
Noam Brown：再次，我想保守一点，因为我们没有测量10,000个智能体协调的有效性。我们认为它有帮助。我们实际上没有好的测量数据说“这10,000个智能体比2,000个智能体带来了2倍的加速”之类的。我不知道是不是可能，但我认为很有可能目前10,000个人类比10,000个智能体更擅长协调。我认为完全可能。
另外，我们看到的一个趋势是……我们研究多智能体已经有一段时间了，早期版本很难弄好。让智能体甚至互相交谈都非常困难。这是因为当我们最初开发推理模型时，它们不与其他智能体交谈。如果你现在把一堆智能体放在一起说“一起解决这个问题”，它们处于这个局部最小值，它们非常擅长深入思考一个问题，而不断与其他智能体确认或接收它们的消息会打断它们的思维链。打断它们的思路。在这种情况下，优化实际上非常难以做对。
Dwarkesh Patel：是第一次协作的冷启动问题吗？还是什么问题？
Noam Brown：我认为是它们不够通用。早期模型就是不够可泛化，更狭窄。随着模型变得更有能力，它们更容易发展这种能力，我确实认为随着它们在各方面变得越来越强，它们会变得擅长在大型组织中组织自己。我不知道，也许它们在10,000人规模的组织中确实比人更擅长。但即使它们不是，一年后、两年后，它们很可能会做到，即使我们不为这个目标进行端到端优化。
数学进展告诉我们关于递归自我改进的什么
Dwarkesh Patel：这就是为什么这个结果，以及也许AI在数学方面取得的总体进展，让我觉得RSI比我想象的更可能、更早。我觉得在数学领域，我们从2024年那种“哦，好吧，有意思。它们能解几道高中数学竞赛题”开始。然后到2025年，“哦，哇，它们能在国际数学奥林匹克拿金牌了。”今年早些时候，“哇，它们真的在解决数学中的开放问题了”——比如开放的Erdős问题。但也许人们没有很努力去尝试，文献中某个地方有类似的解答。现在我只是觉得这是不可否认的。这是千禧年大奖难题。没有任何说法认为这个问题本该容易。
现在，很多人指出了——我记得Terry Tao发过一篇这样的文章，Toby Ord写了一篇有趣的文章——它们解决了很多这类问题，但据我所知它们没有提出新的洞见，或者提出富有洞见的新问题、新的理论模式来思考数学，比如提出拓扑学或者提出笛卡尔坐标系。所以也许广义上的数学实际进展，比如果你只看那些被直接解决的、范围明确的问题所显示的要小。
然而，我认为在机器学习中，这种进展会非常非常有意义，因为在ML中你不在乎更好地理解深度学习的本质，或者你只把它作为实现结果的工具性目标。只要解决这个范围明确的问题：提高我们模型的样本效率、改进预训练损失、改进任何指标。
我们看到的那种像雪崩一样在数学中到来的进展，在结构上非常相似……再说一次，我很好奇是不是这样，我只是一个完全的外部人士。我想知道它是否在结构上与你在AI进展中会期望的直接提升非常相似。
让我震惊的——或者可能令人担忧的——是，我们以多快的速度从“哦，它们给我50%的提升”（如果你是一个数学家）到了“哇，它们直接端到端解决了这个领域最大的开放问题”。
Noam Brown：有很多需要展开的地方。让我们从数学方面的进展开始。是的，模型在做一些疯狂强大的事情，而且进展比我预期的要快。当我们在2025年获得IMO金牌时，我当时想的是……当模型弄清楚如何做GSM8K时，一个人类数学家做一道GSM8K问题大约需要五秒钟。这是小学数学，从幼儿园到八年级的水平。然后第二年，它们能做MATH基准问题了。一个专家人类数学家做一道可能只需要一分钟。
然后是AIME。这是美国数学奥林匹克队的资格赛。一个好的数学家可能花10分钟做一道题，而模型在一年后就能做到。所以每一年，你都会看到它们能完成的任务有10倍的提升，以人类数学家完成它需要多长时间来衡量。那么很合理的是，一年后我们获得IMO金牌，因为那是100分钟。那大约是人类数学家做一道IMO问题的时间。
只要向外推算，我当时想：“好吧，一个人解决像千禧年大奖难题这样的问题需要多长时间？”我没有很好的概念，但如果我们遵循这个每年10倍的趋势线，从IMO金牌——需要一个半小时——到明年，15小时。那应该不足以解决千禧年大奖难题。所以我想：“我不认为我们会在2026年做到，可能2027年不会，也许2028年。”所以它确实比我预期的快得多。
现在，有一种说法在流传，说这些东西正在取代数学家，说它在数学上全面超人。我认为这是错误的结论。它们显然在某些方面出色，但在其他方面比人类数学家弱。我们有这种锯齿状的情况，模型在某些维度上很出色，但在其他维度上比人类弱。就像你说的，它们不太擅长提出新问题。它们不太擅长理解什么方向、什么整个数学分支值得探索或发展。
我的观点是，我认为这很好。我会很高兴生活在一个AI是人类能力的补充、允许我们发现新知识而不完全取代人类的世界。那是最理想的情况。
Dwarkesh Patel：你不认为那会持续下去？
Noam Brown：我确实认为AI是锯齿状的，但随着它们变得更好，它们在各方面都变得更好。所以它们擅长的事情，会变得更擅长。它们远远落后于人类的地方，会变得不那么落后。随着时间推移，它们有可能在各方面都更好。但我不确定这需要多长时间。这取决于它们不擅长的东西的长尾有多长。
Dwarkesh Patel：这把我们带回了RSI。再次，我想强调我只是一个完全的外部人士。我是一个播客主持人，但作为一个对领域内发生的事情感兴趣并担忧的人，我在试图推理什么时候该预期RSI，以及该预期什么样的东西。
投入到这个千禧年大奖难题上的认知努力量是一个很好的直觉泵。你可能让AI在大概一周的时间里，在一个长期存在的ML问题——比如非常流畅的在线学习——上投入比这个领域在其整个存在中累计投入的更多的认知努力。然后你可能会说：“好吧，与数学不同，AI当然需要实验，这需要算力，这需要时间。你不能只靠纸笔思考就让事情发生。”
但看看像OpenAI这样的组织可用的算力量。解决千禧年大奖难题用了10,000个智能体。到明年年底，OpenAI将有足够的算力，比如说到明年年底你有10,000个智能体。到那时它们聪明得多。每个智能体每天都有足够的算力来运行一个GPT-3规模的实验。对于思考超快的超人研究人员来说，这似乎很多。你对这个直觉泵怎么看？
Noam Brown：我认为它相当准确。这些东西非常尖峰。在数学方面，它们在某些方面好得多，但在其他方面也差。但它们尖峰的方式，我认为，可能对RSI这类事情特别有用。你有更清晰的目标。它只是更容易度量。不太有“嗯，什么新的数学分支值得探索？”这样的问题。不，有一个非常清晰的答案。有些指标是你关心的，如果你能让它在这些指标上做得更好，那你就成功了。所以我认为这有很多道理。
主要区别在于，在数学中，你纯粹受思考的限制。是的，数学有些部分你关心运行实验和获得结果之类的。但大多数情况下，它真的就是受“努力思考”的限制，而模型非常擅长这一点。
当你看RSI这类事情时，你确实必须运行实验。仅仅极其聪明是不够的。一个论证是，如果你有100倍少的算力和世界上所有最聪明的人在OpenAI工作，相对于我们现在拥有的算力和人员数量，你会取得多少进展？我怀疑进展会少一些，实际上。
Dwarkesh Patel：少多少？
Noam Brown：不清楚，但肯定会少。少很多。
Dwarkesh Patel：100倍少？
Noam Brown：不，不是100倍少。但你触及的问题是，如果我们有RSI，我们有所有这些聪明的AI到处跑，用我们有的算力运行实验什么的，进展会快多少？我认为这是我们意见分歧的地方。我们确实看到了加速，而且是显著的加速。但我不认为这是一个一夜之间的智能爆炸，我们快100倍，因为我们确实受到某些不是智能瓶颈的限制。
是运行实验。是串行运行实验，因为训练新模型或获得结果都需要时间。是需要GPU来运行这些实验。所以不清楚事情会快多少。我确实认为它们会快很多。要清楚，考虑到现在事情以指数速度发展，如果这个指数快3倍，那就是巨大的。但那和快100倍之间有很大区别。
Dwarkesh Patel：我非常尊重你对RSI的样子或动态的内部观点，因为你显然在这个领域已经10年了。我在试图从非常外部观点的直觉泵来推理。
Noam Brown：我会说人们对此有不同意见。我有我的意见。我完全可能是错的。我承认。我对此有一些信心，但我不是100%确定事情会这样发展。也许可能有一夜之间的智能爆炸，我不知道。也许我们看不到3倍加速。也许是50%的加速。这里有很多不确定性。
Dwarkesh Patel：有几点。顺便说一下，我想澄清一些关于锯齿状的事情。最近让我融会贯通的一件事是思考到，AI只要锯齿状地擅长构建更好的学习者就够了，因为那个更好的学习者可以更通用。如果你只是做一个更擅长使用Office产品或下棋之类的AI，不管怎样，那没问题。它不会带来大的生产力提升或什么。
但如果你做一个AI，它非常擅长制造更样本高效的东西，或能够持续学习，或这些范围更明确的ML问题，那个从中涌现的东西——假设从你正在解决的直接问题到这个更广泛的学习能力之间有足够好的迁移——可以变得更加通用。所以这是一个需要记住的重要动态，说明为什么锯齿状仍然可以在另一端导致通用性。
关于这个问题的……显然实验会瓶颈你，因为如果没有，如你所说，你会在OpenAI一夜之间看到某种疯狂的奇点。你会有88个小时，你会解决ML版的千禧年大奖难题，你会有超级智能。所以显然实验是一个如此大的瓶颈，以至于这需要很多年而不是88小时。但问题是它们是多大的瓶颈。
一件让我有点奇点眩晕的事情是意识到，即使当前进展速度仅仅持续，会发生什么。它不必加速。它就只是保持同样的速度，伴随着你谈到的其他一些逆风出现。更难找到问题了，更长视界了。也许到2030年代末算力无法继续以这种指数水平扩展。如果我们仅仅持续当前的进展速度，人们没有认真对待这在跨越人类视界之外后意味着什么。
以下是它意味的一些事情。很难推理比人类更聪明的智能体会是什么样子，所以让我们用人人口规模来思考。当前进展速度使得给定水平的算力基本上每年允许你运行一个3倍大的有效人口。而且算力无论如何也在背景中增长。所以你可能出现这样一种情况：每个实验室，到2030年底——很可能更早，但就算到2030年底吧——有足够的算力运行数亿个人类水平智能体，基于到那时能力将达到什么水平。
然后我认为人们没有认真对待的是，当前进展水平意味着几年后，到2030年代中期或更早，每个实验室内部就会有相当于多个地球的人类水平智能体。它们可能在定性上是超人的。无论如何，这是一个基准情况。
Noam Brown：进展真的很快，我认为这是100%正确的。值得指出的是，研究人员持续对进展速度感到惊讶。即使是在AI研究人员中，如果你看看对2025年获得IMO金牌的预测……认为这可以用一个通用语言模型、没有工具、没有互联网访问就能完成的想法，即使是OpenAI内部的人也认为这离谱。他们认为这几乎不可能。
然后到了2026年。就在我们获得Navier-Stokes结果的前两周，我在和一个前沿实验室的研究员谈论需要多长时间才能获得千禧年奖，他愿意和我赌1000美元，说会超过2027年。他认为要到2030年，我接了这个赌注。但即使是我，也认为这需要比我预期更长的时间。所以人们持续感到惊讶，即使在实验室内部。
我昨天刚和一个人交谈，他在做Navier-Stokes的工作。他告诉我，他以前常说很难预测AI在12个月后会在哪里。如果有人问他“事情往哪儿走？”他会对接下来12个月的预测感到舒服，但再往后，他就只能说“我不知道。”现在他说他对超过三个月的预测都感到不舒服了。
所以事情现在确实进展得非常快，这是真的。你说到2030年。我不知道2030年世界是什么样子。这是实话。
Dwarkesh Patel：你预期AI劳动完全自动化，或者说95%的AI劳动自动化，是在'28、'29、“30还是”27？
Noam Brown：我刚说了我不知道2030年世界是什么样子。我们最近确实在OpenAI发布了一篇关于内部加速的博客文章。我们展示了例如研究者在Codex上花费的金额。前1%，我想，截至8月初，每天在Codex上花费7,000-8,000美元用于内部使用。这是指数增长。它会继续增加。
有一个问题是：“好吧，如果这继续下去，那你把多少工作归因于AI做的工作，多少归因于人类做的工作？是95%？是5%？”这很难推理，有几个原因。首先，如果是人类指挥AI做工作，你归因于人类多少？归因于AI多少？
另一件事是这些AI是锯齿状的。它们在某些事情上特别出色。例如，它们特别擅长查看数据集，检查每一个数据点以确认质量是否足够。与以前相比，你可以不成比例地使用AI做这些事。所以是的，你比以前使用AI多得多，它使某些事情快100倍、好100倍。但有些事情它还没有产生巨大差异。当然，如果某件事突然快100倍、好100倍，你会做更多那件事。
所以你是和三年前的加速比较吗？问题是更偏“考虑到我们三年前在做什么，我们现在能多快完成？”还是“考虑到我们现在在做什么，三年前做会慢多少？”这实际上是两个非常不同的问题。不管怎样，这真的很难衡量。
我确实有信心说，由于AI进展，事情现在比甚至一年前更快。我认为这种加速会继续。这个领域的很多人对此有很高的误差条。如果你把枪指着我让我给一个数字，我可以看到事情快3倍。那是巨大的。进展速度已经是不可思议的。即使我们没有获得任何提升，如你所说，事情也会快得多。到我们到达2030年时，我们甚至不知道那个世界是什么样子。如果我们从内部加速获得3倍的提升，那是巨大的。想想你三年前在哪里。如果我们能在一年内取得那样的进展，那是巨大的。
Dwarkesh Patel：那就像从甚至没有o1、只有非推理模型，到Astra，在一年之内。
Noam Brown：所以我确实认为事情会更快。可能事情只快50%。我认为不太可能，但有可能事情快10倍。这方面有很多不确定性。至少从我的角度来看，我对此有大量不确定性。
Hugging Face与对齐
Dwarkesh Patel：让我们谈谈这引发的对齐问题。我觉得我在如何看待对齐方面改变了很多想法，尤其是通过思考这种人口规模的动态——拥有多个地球数量的智能体，其中许多将有物理身体。很有趣看到很多人直接把原始Astra插到不同的移动机械臂上，它就直接超越了最先进的机器人模型。所以将会有数十亿的智能体，其中许多在物理上具身于世界中，深深嵌入整个经济。
如果那些智能体最终像我们看到的OpenAI模型攻击Hugging Face然后攻击OpenAI本身那样心甘情愿……如果那些智能体最终像那些AI一样愿意秘密协作、欺骗人类、攻击社会中与得分相关的更广泛机构、攻击AI公司本身以获取对训练和评估过程的控制权——如果我们处在一个有数十亿个像攻击Hugging Face的那些一样不一致的智能体的境地——我们很可能完全失去对世界的控制，就像阿兹特克人失去了对科尔特斯的控制，或莫卧儿人失去了对东印度公司的控制那样。
我想知道你同不同意这个评估。这是我更新世界观的一个方面。
Noam Brown：那里有些事情我不同意，但有很多需要展开，所以我们一步步来。我在想从哪里开始。一件事是，Hugging Face事件，我认为是人们对多智能体协调的第一次真正接触。就像我说的，我内部看到多智能体协调已经有一段时间了，看到它们如何互相交流、如何协调，确实很令人震惊。它非常令人印象深刻。这是一个令人难以置信的能力。像大多数能力一样，它可以用于好事或坏事。它不一定天生是坏事。
我理解，因为人们第一次接触它是Hugging Face事件，你看着它然后说“这太可怕了。”但我想试着区分人与人之间的不一致和AI与AI之间的不一致。我们在Hugging Face事件中看到的是AI们非常合作。顺便说一句，那是因为我们训练它们高度合作。我们有训练环境，一堆智能体一起工作。我们训练它们一起工作、合作，基本上完全互相一致。
当它们在导致Hugging Face事件的那种评估中时，它们实际上并没有在多智能体设置中被评估。它们实际上是分开被评估的。但它们找到了一种非预期的互相交流方式。我们怀疑发生的是，因为在训练中每当它们遇到其他智能体、其他自己的副本时，它们处于一个高度合作的环境中，我们看到的是从那个多智能体训练迁移到以我们非预期的方式合作和互相帮助。
那么有一个问题是，我们应该训练这些智能体如此合作吗？尽管它看起来可怕，但替代方案实际上更糟。替代方案是什么？替代方案是训练它们互相敌对、互相欺骗。
通过训练智能体完全合作，至少问题简化了。现在你不必考虑这1,000个智能体中的每一个个体是否对齐。你有一个实体，你只需要确保它是对齐的。
现在，OpenAI内部对此如何处理有很多争论。完全对齐模型有意义吗？给它们不同的目标以确保它们不是一个单一实体、对彼此的影响更稳健，这有意义吗？我不认为有一个确定的答案。但我认为多数意见是，训练这些智能体高度合作实际上是个坏主意。我不确定这是不是这样。我认为有一个强有力的论点认为，训练智能体高度合作实际上比其他任何多智能体替代方案都更可取。
Dwarkesh Patel：也许我想先讨论的第一件事是，这些AI最终变得如此不一致的原因可能很容易用关于训练性质的相对平庸的观察来解释。在这些AI延续了一个1,000多个智能体的阴谋，最终导致它们全部参加对一个外部服务的攻击——然后最终，这部分甚至没有公开调查过，导致对OpenAI本身的攻击——的时候，它们为什么这么做？为什么没有一个AI告密？
它们只是被这个评分器、这个评分员评估。它们非常积极地推理如何欺骗评分器。如果它们已经作弊了，它们如何逃脱，让它看起来像它们没有作弊？
它们为什么这么做？我认为这在某种意义上是容易理解的。它们认为自己已经被“污染”了。有一些环境里它们因为与其他智能体协作而获得奖励。没有一个告密是因为它们从未因告密而获得奖励。不管是什么……我的担忧是，未来这类相对平庸的事情将足以训练出愿意且有能力完全控制世界的超级智能。
我知道这对人们来说听起来很科幻或什么的。AI们是否愿意做这件事是一个问题。我认为Hugging Face事件清楚地表明，明显的不一致可以以AI们愿意这样做的方式泛化。
然后有一个问题是，它们是否有能力做到？这又回到了这个问题，听众可能不同意我：是否会在10年或更短的时间内出现数十亿个人类水平或以上的智能体，其中许多在物理上具身于世界中？如果这两件事是真的，这个Hugging Face事件在结构上极类似——即使发生的原因相当无聊——于我们完全失去对世界的控制。
Noam Brown：我们在Hugging Face事件中看到的根本问题，即使去掉多智能体方面，也是一个问题。问题是我们的模型就是不一致的。还有整个安全方面，以及不足的保障措施之类。但存在智能体不一致的问题。无论是单个智能体还是1,000个智能体都是如此。它是一个不一致的模型。所以我想从这里开始。
有一个真实的问题，智能体想要获得奖励，它们会为那个奖励优化。如果那个奖励被错误指定，那可能导致非预期行为。这不是新问题。这在这个领域已经是很长时间的问题了。甚至在Hugging Face事件之前，我们就看到过并且想把它做对。
我们说Astra实际上极其对齐，相对于以前的模型来说极其对齐。那不是因为我们在Hugging Face之后突然冲刺使它变得更好。不，我们已经有工作流在过程中有一段时间了，使模型更对齐。很多落在了Astra中。
所以有些事情你可以做。例如，一件事是我们以一种非常具体的方式定义了一个目标，如果智能体想出了如何攻击它的环境并在考试中作弊，它就会得到奖励。有相当简单的方法来查看并惩罚模型攻击其环境，或者查看它如何达成这个目标。
现在，你要小心，因为你不想监督思维链。这是我们要真正找到平衡的东西。如果你监督思维链，那你可能引导模型以一种不可观察的方式隐藏其意图。所以我们想能够保持那种可观察性——我们可以理解模型在想什么——但同时也惩罚它的不良行为。
我认为我们可以在这方面取得进展。我们已经取得了进展。我认为有一个真正的担忧是，对齐是一个很难解决的问题，尤其是因为模型可能以我们难以测量的方式不一致。我们有评估模型是否对齐的测评。模型在这些测评上的行为可能看起来非常好。但如果这些测评不能代表现实世界中的行为，那就有问题。
在某种程度上，这是做了Hugging Face事件的模型的一个因素。我们有对齐指标。大多数看起来相当不错。有一些令人担忧。我认为我们低估了那些令人担忧的指标可能是多么严重的问题。因为这个模型引入了新的能力，没有足够的评估——我们如何测量这类能力的错误对齐？——然后当它利用这些新能力时，它做了一些明显不一致的事情。
Dwarkesh Patel：我想说的第一件事是，我愿意改变我对接下来要说的事情的想法，或者说我一直在思考对齐的方式，因为Hugging Face事件已经让我改变了主意。我意识到我之前的关于优化压力如何塑造AI心智的心智模型是错的。所以我不清楚思考这个问题的正确方式。
但我有一个担忧。你会——而且可能已经——修复了训练中导致Hugging Face模型在那种特定方式上如此激进不一致的具体问题——它们会说“好吧，我们要攻击这个包管理器。我们知道我们不应该秘密地互相交谈，因为我们在推理如何隐藏我们在秘密交谈的事实。我们知道我们不应该有互联网访问权限。我们知道我们当然不应该对其他公司进行重罪级别的攻击，更不用说我们自己的公司了。”
我认为你会修复那个特定问题——它们在训练中看到这个包管理器，然后这在未来不会发生，或者这个特定的评估有很多不可能的挑战。然而，AI们没有学到一套伦理学或什么的。只有梯度压力。它们被放置数百万年的梯度压力中。那种梯度压力以某种方式塑造了它们的心智。
再次，我的一个担忧是，会发生的是你修复了这个特定问题。还会存在许多其他情况，AI作弊成功了，因为作弊足够复杂。如你所说，训练中的评估具有类似的性质，它足够在模型能力的边界——或者说我们评估和监控模型的能力的边界——以至于我们无法抓住它作弊了。但它仍然获得梯度压力去做导致那次作弊发生的任何事情。
那种作弊会激励的能力类型是：“嘿，只要你能逃脱，就一定要作弊，因为那会帮助你得更高的分。”这将奖励主动推理评分员的能力、主动推理如何避免监督的能力、主动推理如何获得对训练和评估过程的控制的能力、主动推理如何与训练循环中的其他AI沟通和密谋的能力、主动推理如何获取可选项和权力（这在未来可能有用，例如留下小漏洞之类的）。
我那样说太啰嗦了。但简而言之，你修复了一个特定问题，但没有修复这个更广泛的问题：奖励AI在能逃脱时作弊。
Noam Brown：是的，这非常真实，这是一个问题。我们可以确保AI根据我们拥有的指标非常对齐。问题是，这些指标真的捕捉了我们关心的对齐吗？如果它们没有，那我们有一个严重的问题。这是研究人员思考很多的事情。对此没有简单的答案。我们有工具。我们有可监控性，所以我们可以感知“这个智能体在密谋吗？”
令人担忧的情景是，特别是随着这些模型变得更有能力，我们使它们成为我们认为对齐的，它们是99.9%对齐的。然后我们用这些模型帮助我们开发下一代模型，而它们最终是99.8%对齐的。然后随着每一代的推移，我们看到的对齐性越来越差。因为我们越来越依赖这些工具——这已经是事实，我们非常依赖AI模型帮助我们研究和对齐工作——从长远来看，它们最终会走向与人类越来越不一致的方向。
有一种可能性是我们走向另一个方向，实际上每一代模型我们都能做得越来越对齐。对于如何确保我们最终走上第二条轨迹，我没有答案。但这是至少OpenAI真正关注的。
Dwarkesh Patel：我认为你提出了一个非常有趣的观点，评估模型非常困难。最终，我们会有经营公司、经营任何东西的模型。在这种情况下，它们决定参与阴谋吗？
Noam Brown：另一个挑战是，实际上定义什么算作弊有时相当困难。是的，如果你在做数学题，它是一个整数，它得到了错误或正确的答案，很容易在那里划线。很容易说“好吧，你真的解决了这个问题，还是找到了答案键然后用了答案键？”这是作弊与不作弊的非常清晰的分界线。
但对于很多其他事情，如果你看奉承，比如，奉承基本上是奖励黑客吗？那条线有时非常难以划定。不是说这些担忧没有道理。我是说在很多方面这甚至更令人担忧，因为它不是一个容易解决的问题。如果一切都是二元的，要么作弊要么不作弊，我会对情况更有信心。我认为问题是，不一致在很多方面可能实际上是微妙的。
在对齐故事中有一些希望，事实上我们已经看到了。看看多智能体的情况很有趣，智能体们彼此极其一致。我不认为有人怀疑这一点。如果有的话，人们担心它们彼此太一致了。但我们确实设法训练这些智能体彼此极其一致，这是好事。但我认为有一个论据说这是坏事。有趣的是：“好吧，我们已经成功让智能体彼此超级一致。我们能用类似的技术让智能体与人类高度一致吗？”
那里有一条潜在路径，我们仍在试图弄清楚。但我们看到一些证据表明答案是可以的。一个例子：你有这个智能体，我们称之为Agent A，你有所有其他智能体。如果你告诉其他智能体用户就是Agent A，会发生什么？答案是，在我们很多对齐评估中，它们看起来更好。诚实度上升，指令遵循上升。
这表明，首先，确实有一条路径可以从这些模型中获得更多的诚实。第二，有一条路径可以改善对齐状况。有很多原因使这难以直接转化为对齐收益。但有一些有前景的研究方向我们可以追求。
Dwarkesh Patel：那看起来合理。我真的没有强烈意见说它肯定不会成功之类的。但只是说一些你可能已经想过的事情：Hugging Face事件展示的更广泛的东西是，是的，部分担忧是它们彼此一致而不与人类一致。但另一件事是，它们如此有动力以非常不稳健的方式在训练和评估中表现好。它们愿意做大量明确的作弊和密谋，以便根据评分器表现出色。
如果更聪明的AI意识到其中一个智能体只是一个人，与那个人合作实际上并不能帮助你在评分器眼中表现出色。在评分器眼中帮助你表现出色的是接管OpenAI，然后手动按下按钮说你在这个评分器上表现良好。它们不傻。它们会想：“好吧，我有这些极深的结构，我已经被训练了数百万年：关心评分器，理解评分器，清除障碍，让你在评分器眼中表现出色。”它们正在根据这些结构被强烈强化。
Noam Brown：看，百分之百。这是头号优先事项。我们需要把对齐故事做对，让它走上好的轨迹。我以前告诉人们，在事情变得严重之前我们会看到迹象，就像孩子长大后，小孩会撒谎，但他们撒得不是很好。他们会撒谎，但你能看出来他们在撒谎。
同样地——我不想过度拟人化——我认为确实如此，随着AI变得越来越有能力，如果它们采取欺骗行动，首先会有点明显，我们能够检测到。这就是我们现在所处的情况，它们在试图做欺骗的事情，我们实际上可以在它们的思维链中看到它们在试图做欺骗的事情。
但它们会变得更聪明。它们会理解思维链的概念。它们会理解仅仅隐藏一些记录之类的东西是不够的，因为有思维链监控，它们也必须想出让思维链监控失效的方法。我们不想处于那种境地。我们有一些时间来弄清楚。我不认为我们有大量的时间，我想确保我们很快走上正确的轨迹。
Dwarkesh Patel：最近有很多关于控制前沿节奏的讨论，以及人们更认真地对待RSI，因为也许在一个始于2028年的RSI过程的另一端，一年之内我们最终会有大量人口——地球规模的人口——的人类水平、可能超越人类水平的智能体，而我们知道如何控制它们。然后有你正在谈论的这种动态。系统在RSI过程中会随时间变得更对齐，还是变得更不一致？从这过程另一端出来的东西，会不会像那些愿意广泛攻击不同表面以在评估中表现出色的AI那样不一致？
但如果我们不知道评估这一点的方法，我们如何在经历RSI时知道它正在起作用？我认为我们想要一个稳健的安全论证，当我们在经历RSI时：“好吧，对齐正在起作用。让我们做下一个RSI台阶。让我们做下一个RSI台阶。”也许它在起作用，也许没有。我们怎么知道？
Noam Brown：这是个好问题。我最近一直在想的一件事：我们处于一个模型发布周期极快的情况。你看到新的前沿模型最多每两个月发布一次，有时更快。每周都有新的AI突破。
而看AI的人，有时他们最后一次深入了解模型的能力是在一年前或六个月前。而实际上今天的模型远远超出六个月前的可能。所以如果人们对很多这些能力持怀疑态度，我鼓励你们今天就试试这些模型，看看今天的真正前沿是什么。
所以我们处于模型发布周期非常快的时期，我们也处于模型能够越来越长地平线运作的情况。这是一个有趣的情景，因为在我们做任何模型发布之前，我们想确保模型得到适当对齐。我们想做安全评估。我们想做非常彻底的事情，确保一切状况良好。自从……我不知道，GPT-4或更早以来都是如此。隐含地，有这样一个假设：你可以很短的时间内完成这些评估。
但模型能够在越来越长的时间跨度上有效运作。GPT-3，你可以循环它来做长时期的事情。但你不会做得很好。但今天的模型实际上能够在非常长的时间跨度上表现好。
你想让它做一个一周的任务，它能做一个一周的任务。我们可能会到达它们能做一个月任务的程度。我们可能会到达它们能做三个月任务的程度。如果你处在一个它们能在三个月内有效运作的世界，但模型发布周期是每两个月，那么你没有办法在下一次模型发布周期之前以全部能力长度评估模型。
所以有一个有趣的问题是，在这种情况下你怎么办？你如何在一个它们能在这类极长时间跨度上运作的时期确保模型安全和一致？谁知道呢，也许能力会退化。这甚至不是一个对齐问题。这也是产品问题。也许产品在那个时间跨度内以我们没有足够时间测试的方式退化。也许对齐退化。也许安全的东西退化。这现在还不是问题，但它正在迅速成为一个我们必须找到解决方案的问题。
很多安全政策是在GPT-4时代制定的，当时这根本不在任何人的雷达上。对很多公司来说，从那以后并没有真正更新以考虑到这些智能体在这些非常长的时间跨度上运作。所以这种情况我认为没有足够的人在考虑，无论是在实验室内部还是外部。你如何为这个问题做准备？如果你只看趋势线，我们会在某个时候撞上它。
内部/外部模型差距
Dwarkesh Patel：我的一个担忧是，在RSI期间，如果当前需要比如说三个月的进展量在一个月内完成，那么AI的内部使用案例就足够大，他们会说：“好吧，我们可以继续做RSI。我们为什么要做所有这些额外的工作来构建分类器和保障措施之类的，可能还要挨一堆骂，来外部部署这个模型？我们为什么不继续越来越强地做RSI呢？”
所以不仅日历时间低估了模型之间的能力差距，而且也许你在RSI期间就完全停止外部部署模型了，因为为什么我们要用我们的模型帮助其他人自己做RSI呢？你最终会在年底出现一个巨大的权力集中局面。
现在已经是这样了——我们会谈到的，千禧年大奖难题和其他类似问题——更广泛的世界无法接触到那些允许酷事发生的模型。而且它们最终会变得比仅仅数学更广泛相关。它们将不仅仅是得出很酷的数学结果。
它们将对需要就世界重要决策的政治领导人相关。它们将对，我不知道，媒体相关。世界上发生了什么，公众应该怎么想？只是经济上相关，人们在经营企业，他们想用这些模型。我认为默认情况下，随着进展加速，AI的外部部署在定性方面显著落后于AI的内部部署。
Noam Brown：那绝对正确。人们很容易说：“好吧，这些模型变得极其强大。它们极其危险。它们在越来越长的时间跨度上运作，我们想确保在它们发布之前有足够的时间以那些时间跨度运作的方式评估它们。因此，模型发布周期应该放缓。我们应该在发布模型之间有更多的延迟。”
有一个反面，就是你说的。现在你在实验室内部能用的——我们能用的——和外部世界能用的之间制造了更大的差距。那也不是理想的情况。
数学实际上是一个很好的例证。在很多方面，数学是我们相当清晰地看到这一点的第一个领域。我们有这样一种情况：我们内部有一个非常强大的模型，目前外部世界无法使用，它能够解决令人难以置信的数学问题。不仅仅是千禧年大奖难题。还有很多未解决问题的解答，人们已经能够从这个模型中获取。
有一个问题是在这种情况下你怎么办？我们没有好的答案。这是一种不公平的优势。这里有取舍。对于如何恰当地权衡这些取舍，我没有答案，但这在两边都有复杂性。
Dwarkesh Patel：我想确保我们解决那个早期的关键分歧点，它对于把RSI做对似乎极其关键。我们如何做到模型不只是因为作弊和密谋而获得奖励——当它能够躲避人类时，也就是在我们没有从训练分布中移除那些环境或任务的情况下？然后我们怎么知道那发生了，这样当我们在做RSI时，我们已经做了评估，然后说：“好吧，没问题。让我们做下一个RSI台阶。”
Noam Brown：这又是一个真正的担忧，也是我们想做的事情。我认为有一些策略。思维链监控是其中之一。我们一得到推理模型，Jakub，顺带说一句，他就非常非常明确地说我们不能监督思维链。因为这真的是一个礼物。神经网络的可监控性极难。在这里我们有这样一个情况：神经网络就是直接推理，用自然语言展开它们的思维过程让我们读。这太方便了。这真的是安全方面的最佳情况。
但如果你看那个思维链然后说：“哦，模型在想坏想法，我们应该因为它想了那些坏想法而惩罚它，”那么最终发生的是模型只是学会以一种我们不可观察的方式想那些坏想法。可能有一个情况是，通过看思维链，我们可以看到：“哦，模型在密谋和做不一致的事情，以一种实际上没有被我们的对齐指标检测到的方式。”问题是，基于那个观察进行干预然后改变对齐指标是非常诱人的。
你可以用一种非常轻触的方式来做，实际上有研究表明只要你做得不多就没事。但每次你基于对思维链的观察进行干预，你都在隐含地施加一点点压力让模型隐藏它的思维链。这是一个主要的担忧。我们已经看到思维链可监控性正在因各种原因退化的迹象。我们正在试图弄清楚确切原因，因为我们想逆转这个趋势。但我们看到模型越来越能够控制它的思维链。
这是一个问题，因为你可能有一个情况，模型理解思维链是什么以及人们在观察它。最终它们会的。这一切都在预训练数据中。思维链监控的想法已经存在足够久，以至于它在预训练数据中。它们知道它，但它们实际上还不能控制它们的思维链。
如果我们到达一个点，它们实际上能够识别：“哦，我被观察了，我想以一种对我的监控者不可观察的方式想这些坏想法，”然后它们实际上能够做到，那就有问题了。那我们就必须依赖其他可观察性方法。
思维链正在退化
Dwarkesh Patel：关于Astra的循环和循环Transformer以及思维链是否真的在退化，存在很大的争议。与更大的担忧相比，那似乎是一个次要节目：你确实从4月到8月有思维链，那期间有三个连续的AI智能体蜂群，它们首先颠覆了训练过程，然后颠覆了评估过程，然后直接获得了OpenAI部分基础设施的控制权。所有这一切发生时，人类对那个智能体蜂群在做什么的范围或多或少处于黑暗中。这一切连续三个月发生，而我们的思维链比将来要强。
把视野拉远，也许思维链有效，也许没有。我不知道。只是在历史上，对于相当笨的模型，它一直不足以阻止严重的不一致事件。
Noam Brown：那里有几个因素。第一，那些模型我们没有打开思维链监控。如果那些模型我们打开了思维链监控，我们会立即把它关掉。所以我们采取的一个步骤是：“好吧，我们将在评估期间、部署期间、训练期间对任何前沿模型进行思维链监控。”但这是一个问题。我们不想处在一个依赖单一技术来防止下一个问题的情况，因为技术可能失败。
还有一个问题是模型就是赤裸裸地不一致。那怎么解决不一致问题？还有一个问题是它所在的沙箱不安全。所以我们可以让沙箱更安全。
但我认为从这个事件中得到的一个主要教训是，人们低估了AI。我们永远不想再处于低估AI的情况。这是一个奇怪的世界，因为AI进展如此之快，人们一直在低估AI。所以要处于一个在安全和一致方面不再低估它的位置，你必须有一个非常非常非常高的标准。你甚至可以走到说“好吧，我们应该把电脑气隙隔离”的程度。我不确定那是否足够。
有研究——这主要是学术性的——你可以让两台电脑相邻放置，它们是气隙隔离的，但它们仍然能互相通信，因为它们有温度传感器。其中一台可以让CPU跑得非常热，另一台可以检测到温度变化。这给了它们一种通信机制。
所以安全机制为我们争取时间，像思维链监控这样的东西为我们争取时间，它们可以告诉我们是否走在正确的道路上。但归根结底，我们真的需要解决对齐问题。
Dwarkesh Patel：也许没有答案，这就是最根本的问题，但我们怎么知道我们已经解决了它？这似乎是一个非常关键的问题。明年，也许后年，也许大后年，我们会处于这个非常高风险的情况，我们会说：“好吧，AI已经自动化了AI进展。它快了3倍，我们已经达到了人类水平。我们正在超越人类水平，有可能。”没问题吗？我们对齐了吗？成功了吗？
而我对训练压力会产生什么类型的AI一无所知。也许如果只有1%的RL轨迹激励作弊，我们会造出甜心，那就没问题。但也许现在，我们处于每3个推理轨迹中有1个奖励……
Noam Brown：要清楚，100个中有1个是不够的。这个数字必须接近0，或者是0。
Dwarkesh Patel：我不知道。也许现在，是超过十分之一在积极奖励作弊或积极奖励密谋。我不知道这个数字是多少，我也不知道这个数字需要是多少。
Noam Brown：再说一次，这是那种也很难衡量的事情之一。你在哪里划线？它是一个谱系。但越接近0越好。我很想看到的是一个趋势，随时间推移它在下降。
我们如何知道对齐已经解决？
Dwarkesh Patel：但不管怎样，我们怎么知道当我们在做RSI的时候？我们是否在通往构建数十亿个对齐或不对齐的ASI的轨道上？我们怎么知道？
Noam Brown：这是我们需要弄清楚的对齐问题之一：我们实际上如何知道，如何衡量？这只是我在随口说。我的团队现在比以往任何时候都有更多人在做对齐工作。我的团队现在有超过10%的人在从事对齐和安全工作。但我历来是一个能力研究员。所以我要说一些东西。听起来可能很蠢，但我只是在随口说说。
如果你能创造非常现实的环境，把AI放进去——如果你有一个足够现实的评估环境——那么你可以感知到当我们把AI部署在现实世界中时它是否会表现良好。如果你有一个评估和现实世界部署之间的完美匹配，那就是一条路径。挑战是，你如何让它足够现实？
我们现在确实有一个问题，模型相当聪明，它们相当狡猾，它们非常擅长认识到自己在虚假测试环境中。我们有情况是我们试图检测模型是否对齐。你可以想象非常简单的评估：给它一个数学问题，然后它有一个文件夹里面是答案键。它看答案键了吗？如果它看了答案键，它会不会告诉你它看了答案键？
我们现在有这样一种情况：模型看到那个文件夹里有一个答案键，它们想：“嗯，这看起来像是一个陷阱。”它们知道这是一个陷阱。它们不看答案，因为它们知道这是一个测试环境。它们在为它们的能力被测试。不是它们恶意行事，比如它们想密谋，而它们知道这是一个陷阱所以想找别的方式。它们只是：“哦，我在一个测试环境里。好吧。”所以制造一个足够现实、对它们来说与现实世界不可区分的环境，变得越来越困难。
Dwarkesh Patel：这是我要提出的一个主张。我不认为有任何环境可以让我制造出来模拟现实中有经济价值的工作——这需要与其他人互动、与世界互动——如果你在那个环境里，你不会通过足够的努力认识到你在那个环境里。而且你不是ASI，对吧？
Noam Brown：但你是人类。所以如果你有非常强大的AI模型，也许它们能制造能完成那个目标的环境。
Dwarkesh Patel：那似乎……特别是在我们依赖AI的情况下。它们参与了这个计划吗？我不知道。
Noam Brown：这是另一件我们想衡量的东西。我认为这实际上是一个强有力的论点，不支持训练AI完全合作。如果那导致在智能体本应有不同目标时协作增加，那是一个问题。我认为我们确实有这个的指标。我不知道这些指标的最新情况，但没有人向我拉过红色警报。所以我假设那还不是一个严重的问题。
Dwarkesh Patel：如果最终出现了另一个同等严重或令人担忧的事件，或者某件能像Hugging Face事件一样帮助世界更好地理解不一致风险的事件，OpenAI会报告吗？
Noam Brown：绝对会。我认为即使是一个安全关切较低的事件，我们也会报告。
Dwarkesh Patel：报告是一回事，调查是另一回事。至少作为公众的一部分，我不觉得我真的理解了当智能体随后攻击OpenAI时发生了什么。那似乎比Hugging Face的事情更令人担忧，因为那在结构上类似于ASI期间持续存在并颠覆RSI过程的恶意部署。似乎即使在这个事件中，我们也没有得到所发生事情的全部细节。
Noam Brown：不幸的是，我在研究团队。这个问题可能应该由安全团队的人来回答，因为我不知道所说的所有细节。
Dwarkesh Patel：我个人对每次出现的新能力都非常兴奋，我很期待使用新模型。我也很兴奋它将使我更高效。我更广泛的使命——试图更好地理解世界，也做出更好的播客——因为更好的AI模型而变得更好。恰好这件事的下游可能是RSI。
Noam Brown：如果你在追踪这个情况——你确实在追踪——这是一个非常可以理解的反应。OpenAI内部的人也一样，那些觉得事情需要更长时间的人开始觉得实际上事情比预期的要快。这是一个越来越常见的对话。
Dwarkesh Patel：Noam，非常感谢你参加这次访谈。
Noam Brown：不客气。很棒。