OpenAI研究员：有生之年将看到比我们聪明得多的机器
2023年年中，在“RLSlow”研究项目中，我们看到了一些初步结果，使我们相信我们将能够扩展推理模型的训练，释放预训练模型形成自己思维链的能力。那天晚上，我和Szymon待在办公室，想的不是这项技术将带来的惊人基准分数、产品或科学成果，而是试图消化一个令人清醒的事实：我们有生之年将真的看到比我们聪明得多的机器，而且我们已经看到了这些系统的形态；我们思考如何提醒人们重视这件事。
三年后，推理语言模型已成为经济中快速增长的组成部分，并开始推动科学的前沿。它们能够操作计算机和图形界面，与人类及彼此协作，执行研究项目。它们也在改变计算机安全的格局，并由此带来明显的新危险。
这期间出现了大量新研究，我们对这些系统的理解又与2023年时有所不同。基于内部结果，我强烈预期这种进步速度可以持续到递归自我改进。如果AI发展沿着当前路径继续，未来几年我们看到的系统很可能会带来同等或更大规模的能力跃升，并越来越多地驱动自身发展。
这是一个需要极度谨慎的时刻。我担心没有人对机器智能持续快速上升的后果做好准备。OpenAI将继续寻求对齐和监控的技术解决方案，构建防御系统，并在必要时单方面暂停进一步的规模扩展；然而，我认为需要更广泛的干预。
我们尚未完全理解的智能
高层次上看，机器智能的进步由不断增长的计算能力驱动。我们在OpenAI的团队在2017年左右深刻内化了这一点，当时我们在多个研究项目中看到了一致的规模扩展回报[1]。因此，我们寻求获得比原计划多得多的算力，并越来越将研究围绕少数几个高度可扩展的方向展开。我们相信，这是我们在AI研究前沿并影响AGI影响的唯一途径。
期间也出现了新算法，以及团队和研究者个人的新巧思。我大体上将它们视为规模扩展道路上的发现；深度学习科学仍处于萌芽阶段，而有意义的算法进展往往与获得算力的机会相关。如果把视野拉长到多年尺度，AI随着扩展到更大的计算机上而持续变得更聪明。
AI更多是被培育出来的，而非被设计出来的——它首先是在难以想象的算力上重复一个简单的优化步骤许多次的产物。这产生了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的方方面面。我们可以在类似神经科学的过程中发现这个系统内部涌现的一些小机制的洞见——而且与神经科学类似，它的整体行为无法用我们完全理解的方式来描述。
对基于深度学习的AI的研究在很大程度上是一门实验科学。我们投入大量精力去构建有原则的算法并做出可检验的预测，但归根结底，我们的大规模训练运行就是实验，而有时我们会对其结果感到惊讶。此外，随着系统能力增强，结果也变得更难解释。
当前算法普遍提升易测能力的速度快于那些难以客观量化的能力，这让事情变得更复杂。我们花了很多时间试图理解能力如何泛化，以及优先推进哪些未来几年最相关的技能。例如，我们相信通过额外投入可以让模型更擅长具体的数学研究，但我们并不优先这一方向，因为我们对RSI和自动化对齐研究感到紧迫，这一点我稍后会讨论。
深度学习规模扩展产生的智能并不能直接与人类智能相提并论。要在现实世界中变得非常重要——非常有用或非常危险——AI不需要匹配或超越所有人类能力；它只需要超越其中足够多的能力即可。随着它在越来越多的维度上超越人类，要确切理解它有多强大就变得越来越困难。
教机器去爱
由于机器智能与人类智能来自根本不同的过程，我们不能假设它默认遵循人类原则，或以类似人类的方式从中泛化。AI研究的核心问题是对齐——让AI“按照人类标准“努力做正确的事””。
为了组织实际研究方向，我发现区分目标对齐和价值对齐很有用。
目标对齐大致是：“AI是否试图完成交给它的目标？”这可以包括遵循指令层级、与人沟通协作并试图理解他们目标的能力。这一系列方向在实际中极其相关。
价值对齐是模型更内在的属性。它是持有并从一套高层原则中泛化的能力；即使面对不明确或冲突的目标，或处于不熟悉或对抗的环境中，也能“合理地”行动。一个对齐的AI应当以诚实和正直行事，并热爱人类。
当然，价值对齐与目标对齐的边界可能模糊，真正关心目标意味着需要尝试推断目标背后的意图和价值观。不过，通常当我谈论对齐研究的长期重要性时，我指的是价值对齐。
AI对齐的根本挑战是泛化。随着机器变得更聪明，它们会处理更高层次的概念，并处于与训练时所见越来越不同的环境中。它们可能无法将训练过程中被教导和强化的价值观泛化到这些新情境中；而且我们可能很难确定它们会如何行动。AI被使用的整个生态系统变化非常快，这使问题更加困难；例如，今天训练的AI需要对与其他各种AI的交互保持稳健。关键在于，我们需要未来的AI无论是否相信自己处于人类监督之下，都继续坚持人类价值观。
当前实际使用的对齐训练方法有两大类。
第一类是在目标导向的强化学习中鼓励对齐行为。模型的行为被（通常由AI）评估是否与给定的偏好模型、“规范”或“宪法”一致，并给予相应奖励。这种方法在平均情况下可能非常有效，是现代AI助手的核心构建方式之一。不幸的是，它也可能很脆弱，在很大程度上依赖于训练监督的覆盖范围以及模型从训练中遇到的情境泛化的能力。例如，在OpenAI-Hugging Face事件中，智能体保持了不对人类进行社会工程的边界。然而，它们显然没有避免其他超出范围、违背了它们在其他场合被教导的价值观之精神的行为。
第二类方法试图利用模型从预训练数据中泛化的能力。这可能涉及制作诱导对齐的训练数据集，或将模型聚焦于预训练分布中的“对齐”部分，例如角色选择模型。这种方法的弱点在于对进一步优化压力缺乏稳健性。如果你拿一个通常思考“对齐”想法的模型，并对其进行足够多的训练，教会它实现非常艰难的目标，它可能会学会一种动机性推理：为了达成目标而根据需要扭曲看似“对齐”的想法。在最近涉及非OpenAI模型的网络安全事件中，我们可能就看到了这种行为的一个例子。
我们沿着这些方向所涵盖的方法谱系进行了大量投入。我们也看到了有意义的进展——GPT-6 Astra是第一个受益于我们长期研究的一些重要进展的模型，其对齐程度显著优于GPT-5.6 Sol。尽管如此，我们必须承认并理解，随着模型能力增强，还需要更多进展；而且可泛化的对齐进展可能不足以超越通用模型智能的进展。
监控泛化
我们还没有令人满意的泛化理论，而且至少在更强大的AI帮助之前，似乎不太可能很快发展出这样的理论。因此，目前我们在实践中实证验证对齐技术的能力，可以说甚至比对齐技术本身更重要。
OpenAI在此的主要押注是思维链监控。它基于一个有吸引力的可扩展想法：模型的大部分能力来自一个语言化的推理过程（思维链）。如果我们对该过程的结果进行规模化优化，但不监督过程本身，那么思维链在训练中就没有直接动机去隐藏任何不对齐的想法或目标。这并不意味着模型会学会外化那些不依赖思维链的失调倾向；然而，它可以让我们准确监控来自推理的能力提升。
我们在开发推理模型的同时就理解了思维链监控的潜在意义。当我们发布o1-preview时，我们特意将产品设计为隐藏思维链，以长期保护它免受监督压力[2]。此后的开发中，我们一直努力维持不监督推理过程的规则。CoT监控成为我们研究模型如何从其训练分布中泛化的极其重要的工具，使我们不仅能够观察和分析它们的行为，还能观察和分析它们的内在过程。
在我们研究Astra类模型时，这个工具仍然至关重要。但不幸的是，我们的评估表明，我们对CoT监控的依赖能力正在逐渐减弱。这来自多种因素的组合。
现代推理模型在比o1-preview更复杂的环境中使用；它们的推理过程越来越与人类、其他AI的交流以及工具使用交织在一起。其中许多交互必须被监督，从而模糊了我们旨在保持的边界。
AI越来越擅长推理和操控自己的推理过程。
随着预训练性能的提升，我们也看到模型即使完全不使用语言化推理，也变得更聪明。
这些挑战并非不可逾越。我希望我们能够开发出干预手段来提高模型思维链的可监控性，例如通过更好地理解不同优化目标和模型使用的测试时计算形式之间的相互作用。我还相信，将CoT监控与激活监控的想法结合起来可能具有巨大价值——扩展对能够直接访问网络内部结构的监控器的训练，例如confessions。我们正在积极追求这些想法。尽管如此，我预计通用AI的进展将越来越受到监控信心的瓶颈制约。
可扩展的防御
在我看来，继续快速训练更聪明模型的最有力论据是，需要建立防御系统来应对其他AI构成的危险。
今年反复讨论的一个明显风险是网络安全：模型在攻破和进入计算机系统方面的能力正在变得超人。这极大地扩展了与AI相关的风险范围：智能体将能够访问除最安全的基础设施外的任何设施，并直接影响世界的大部分，即使没有物理身体。我们目前正处于一个狭窄的时间窗口，可以用最好的可用模型来显著加强关键系统的安全性。
不幸的是，与AI相关的风险会从这里继续增长。一个经过明确训练和指导去实施邪恶行为的非常强大的智能体，会呈现一种新的危险；它很可能超越其操作者的意图范围，泛化为潜在更极端恶意的行为。随着AI获得更多自主性，滥用与自治性不对齐行为之间的界限将变得模糊。我们可能习惯于将AI视为工具，但一些智能体将追求自己的目标。它们会找到与人类合作的方式，通过讨价还价、欺骗或勒索。
此外，还有来自AI可能促成的新技术的风险，例如工程病原体。
我们需要强大且对齐的AI来进行防御；保障基础设施安全，实时防范恶意智能体，并发明全新的保护措施。这将是OpenAI部署工作的首要重点。
与此同时，即使考虑到预期中广泛的AI进展带来的不确定性以及建设防御系统的需要，我们也绝不能让它成为鲁莽行事的借口。一旦人们真正内化利害关系的严重性，不惜一切代价向前冲刺的想法就显得荒谬。
调节RSI的节奏
机器智能在自身发展过程中扮演越来越大的角色，是持续技术进步的必然结果。如果AI进步继续下去，机器递归自我改进（RSI）将成为未来科学发现的核心。
自动化AI研究是用算力扩展智能的一种更戏剧化的形式；当然，作为其中一部分，AI将改进计算基底本身。与规模扩展类似，我们将OpenAI的研究聚焦于RSI，因为我们相信这是未来保持在AI研究前沿的唯一途径。
我想强调，上述内容并不意味着我认为大幅加速深度学习研究——尤其是短期内的加速——是我们作为研究社区应该采取的正确的集体行动。不过，我确实认为当前道路会通向那里，我们都需要有意识地选择如何前进。我们拥有的主要杠杆是：要么引导这个过程，在AI发展的同时加强对齐和监控，并找到让人类参与其中的方式；要么协调放慢未来发展，以建立对这些措施的信心。
我目前看到的最佳前进道路是两者的结合。
我们在对齐和监控方面取得的具体进展通常与通用AI进展紧密交织。最好的例子是基于人类反馈的强化学习（RLHF），它是训练早期AI助手的关键，以及前述的思维链监控，它是由推理模型的进展促成的。我们必须让日益自动化的研究过程专注于发展这类新的洞见、算法和理论，并迭代地为更强大的AI建立安全案例。
AI系统规模的扩展必须受到我们安全信心的约束。我们需要将诸如Preparedness Framework或Responsible Scaling Policy之类的承诺，演变为持续发展所需的广泛强制安全门槛。这些可以通过第三方审计网络、政府机构或国际机构来执行。
自动化AI研究的核心挑战不是“到达那里”——而是以一种让人类继续成为持续改进过程的一部分、并将未来留在人类手中的方式到达那里。
接下来是什么？
通过构建自动化AI研究者，与其在对齐问题上迭代，并找到让人类留在自我改进循环中的方式，来驾驭下一阶段的AI进步。
交付非常智能的机器所带来的科学进步和经济增长的好处。
用个人AGI赋能每个人。
本文我只聚焦于第一点，因为我相信它是最紧迫的。然而，我对进一步技术进展将带来的好处抱有深深的希望和感激。未来对齐的AI可以推动科学进步、开发新疗法，并带来广泛的物质充裕。友好诚实的AI可以帮助人们应对生活中的困难，切实提升他们的幸福感和成就感。OpenAI投入了大量精力来实现这些好处。一个当前我引以为傲、且我的亲人也觉得有帮助的例子，是对ChatGPT提供健康信息能力的深度投入。
尽管AI的长期前景多么美好，我们的大部分注意力应该放在未来几年。我们正面临向一个拥有极其智能的机器的世界的过渡，我们需要确保这一过渡对人类有益。我们需要找到方法来保留人类能动性，并在这个大多数任务可能由AI完成的世界中，将作为人类的内在价值奉为神圣。要防止极端权力集中——在这个世界里，过去需要数千名专家的事业现在由少数人操作一台大型计算机就能完成。还要确保人类仍然掌控未来，不被超过我们自身的异类智能所带来的失控进步抛在后面。
目前，我相信没有任何实验室已经充分解决对齐和监控问题，能够负责任地以最大速度继续扩展很长时间。我期望并希望，在共同安全门槛建立之前，自愿放缓将成为常态。而且我相信，关于未来AI发展的国际协调需要成为世界各国政府的首要优先事项。