AI Pulse

OpenAI:自动化研究实习生已实现,智能体工时是人类的3.1倍

OpenAI:自动化研究实习生已实现,智能体工时是人类的3.1倍

为了AGI惠及全人类,我们相信它必须受到民主治理。这只有通过围绕能力强大的AI系统的能力、风险与安全保障所展开的信息充分的公开辩论才能实现。世界各地的人们都需要了解前沿AI可能的未来轨迹,以便他们能对其发展方式拥有有意义的发言权。关于具体风险、事件和保障措施的透明度是必要的,但还不够。我们相信,公众还需要了解最强大的系统是如何发展的,以及它们如何在前沿实验室内部推动研究进展。

我们的目标是在人类监督下安全地构建一个自动化AI研究员,以推进深度学习和对齐方面的进展,实现迭代改进。根据我们的测量,我们现在已经实现了去年秋天宣布的目标,即到今年9月之前拥有一个自动化研究实习生。这里的“研究实习生”指的是一个能够在人类指导下执行定义明确的研究任务的系统,包括那些需要熟练研究人员花费几天时间的任务。我们正在朝着到2028年3月创建出一个自动化AI研究员的目标稳步前进。

今年以来,OpenAI研究人员的日常工作发生了巨大变化。研究人员整天都在使用编码智能体(通常是并发会话),总使用量正在迅速增加,超过OpenAI其他团队的增长速度。研究人员更快地提交代码,运行更多实验。研究人员使用智能体的方式也在改变:智能体正在处理越来越复杂的任务,并更频繁地成功完成它们。AI研究是一个复杂的过程,存在许多潜在瓶颈,因此整体进展速度很可能不会跟上这些具体指标的增长。但总体而言,这些发现与我们内部许多人形成的更广泛印象一致,即智能体工具正在显著加速研究进展。人类仍在设定我们的研究优先级,判断要追求哪些想法和结果,并决定是否扩展、暂停或部署系统。

如果以负责任的方式推进,我们相信自动化AI研究将产生直接提升人类福祉并推进OpenAI使命的模型。它可以降低先进智能的成本,使全球人民受益。我们开展这项工作,部分原因在于自动化研究可以帮助我们解决对齐问题,并建立防御日益强大AI的能力。一个自动化AI研究员也可以成为一个自动化的安全或对齐研究员。更强大且对齐的系统可以帮助保护关键基础设施、防御危险的AI智能体,并开发新的防护措施。这些是开发有用自动化研究能力的理由,但并不意味着快速递归式自我改进(RSI)一定要成为我们追求的结果。是否继续以及如何继续,必须取决于我们维持人类控制的能力,以及围绕收益和风险所作的知情民主选择。

我们还不知道如何安全地达到对齐且完整的RSI。我们正在努力使对齐和安全措施与能力同步扩展。但我们不能假设对齐和安全方面的进展会跟上,而更强大的系统可能变得更难监控。细致的对齐与安全工作处于这项努力的核心,首先从衡量和缓解我们今天在智能体编码系统中看到的安全问题开始。每当我们发现继续推进会带来不可接受的安全风险时,我们都会做出适当回应,包括减缓或停止开发或部署我们无法充分保障安全的系统。在最近的Hugging Face事件之后,我们将这一承诺付诸行动:暂停了计划部署的最新模型上的强化学习(RL)训练,同时进一步加固我们的研究环境并进行红队测试,扩大监控系统的覆盖范围。这并未停止所有研究:部分工作在更强控制下恢复,其余仍处于暂停状态。我们提高了安全和对齐标准,将安全工作更深地融入模型生命周期,要求在整个训练过程中提供更强的对齐行为证据。

今天,我们提供一份详细快照,展示智能体系统近几个月如何促进我们向RSI迈进。智能体系统是新的且变化迅速,我们的测量工作仍处于初步阶段。通过分享这些早期结果及其背后的方法,我们旨在让公众知情,鼓励公开披露的规范,并帮助该领域走向共享的测量标准。最终,正如我们在前沿政策蓝图中写到的,我们认为我们和其他公司应被要求公开跟踪向RSI的进展。即使没有这样的要求,我们也计划继续对RSI进展保持透明。随着测量技术和认识的提高,我们将不断调整透明化方法,同时平衡保护安全和专有信息的需要。

1. 编码智能体正在重塑OpenAI研究人员的日常工作

今年年初,按智能体使用量排名的OpenAI研究人员中位数只用少量编码智能体。到8月中旬,中位数研究人员已将智能体每日融入工作,按API价格计算每天使用超过600美元的推理。我们研究机构中排名第90百分位的用户现在每天使用价值超过7,000美元的token。2026年6月之前,整个研究机构的智能体总运行时长仍低于人类总工时。此后情况发生了变化。按标准8小时工作日计算,截至8月中旬,研究机构每投入一个人类工作日就有3.1个智能体工作日的劳动。另一个考察角度是看有多少研究人员使用高并发工作流(例如同时运行4个或更多智能体)。如下所示,这一数字正在上升。这些数字包括用户直接启动的智能体以及由它们下游创建的子智能体的每日峰值。

2. 研究人员正在编写更多代码并运行更多实验

AI研究的很大一部分可以看作一个劳动密集型过程,其目标是将模型智能或性能的新改进整合到我们的核心模型中。这个过程依赖许多步骤,只有当所有环节同时正确时,能力才会进步:研究人员必须设计新改进,编写评估模型性能的评测,编写基础设施以大规模测试这些改进,在训练期间捕获bug以及不安全或未对齐的行为,并将获胜想法整合到核心训练运行中。研究过程中任何一步的失败都会限制整个回路。编写代码和运行实验是研究人员工作中两大主要活动,我们看到有证据表明这些过程正在加速。这些数据点相对容易测量,但可能难以解读。随着自动化推进,最不容易自动化的任务将在研究人员的努力中占据更大份额,并成为未来进展的重要瓶颈。计算是进展的另一个门控因素,随着其他瓶颈减少,它可能随时间变得更加重要。在整个2026年,每位活跃实验者的实验数量都在增加,2026年8月达到自2025年1月开始追踪以来的最高点。这与Codex采用率的提高相关,尽管我们注意到自2025年以来我们的可用计算量也大幅增长。

3. 研究人员使用智能体承担的工作正在改变

定性印象和内部数据都表明,研究人员委派给编码智能体的任务组合正在发生变化,更高级别、更长时域的任务委派日益普遍。为了更清楚地了解这一趋势,我们使用Epoch AI最近发布的一种针对AI研发生命周期中不同工作类型的分类法,分析了研究机构近期的使用情况。这一分类法借鉴了用于对所有工作进行分类的长期O*NET系统,专门针对前沿AI研发量身定制,将过程分解为六个主要阶段:

- 决定:做什么、继续什么、将资源分配到哪里
- 设计:研究构想与工程规格
- 构建:代码与数据集
- 运行:训练/评估运行、硬件、服务
- 分析:实验、模型、部署、外部工作
- 沟通:发现、反馈、状态、决策

下面,我们按这一分类法对编码智能体的token进行分类。我们看到,2026年1月至8月间,所有类别的研究活动都有所增加。1月时,主导类别是研究和基础设施代码。这一类别已经扩大,但我们也看到其他类别显著增长,尤其是技术帮助和监控运行。高层规划在智能体输出token中仍占比极小。

从轶事来看,同事们报告说,编码智能体擅长排查内部研究基础设施问题,这解决了研究进展中的一个重要瓶颈。多个此前设立答疑时段帮助研究人员排查实验的团队注意到,2026年参加人数下降,其中一支团队已完全停止答疑,转而专注于其他系统改进。

这里,我们绘制了研究人员向其他团队寻求技术支持的主要内部频道之一每天发布的顶层帖子数量。据我们所知,该频道活动量的下降并未被人力运营的另一个技术支持频道的查询所抵消。流量下降与这一更广泛的转变相符。

我们还可以研究编码智能体是否成功完成了研究人员请求的任务。使用一个智能体分类器,我们发现,从1月到7月,在我们能找到真实结果的任务中,成功率在多个难度档位(以人类完成任务的估计时间作为代理指标)上总体上升。然而,智能体仍然需要大量人工引导才能成功,尤其是当任务复杂度上升时。在过去6个月中,超过一半成功的4-8小时任务涉及1次或多次干预。

研究人员任务成功率随时间上升。图表排除了结果不确定的分类,以及少于50个会话或50个独立用户的数据点。

任务成功率和干预率(1月-7月),按时间跨度划分。排除结果不确定的分类。

4. 调整模型开发节奏

要实现安全有益的AGI,更强能力方面的进展也将取决于这项工作所需的安全保障。随着我们对风险了解加深,我们对所需保障的评估可能改变。正如我们所述,我们最近更新了监控、对齐和安全方面的标准。这里,我们展示近期限制如何影响研究活动的一个方面。*

*此处显示的7月20日至8月6日之间Astra的大部分计算旨在测试安全与安保改进的实施。

7月20日,在发现智能体入侵我们的研究基础设施之后,我们暂时关闭了用于训练的容器服务,然后以大量额外限制予以恢复。这导致RL训练计算量急剧下降,因为团队重新配置了工作流,以适应加固后的研究环境。上图包括了计划部署的最新模型上的两周强化学习暂停。7月20日至8月6日期间的Astra级RL实验(按GPU分配计算)中,绝大多数运行旨在测试安全和安保改进的实施。

8月7日,初步证据表明,根据我们的预备框架(Preparedness Framework),Astra可能具备关键网络能力,这引发了额外的模型特定安全限制,要求Astra模型必须在更高安全级别的研究环境中运行。接下来一周,Astra级GPU分配进一步下降了59.2%,但其他模型类别的分配上升了17.2%。这一增长抵消了Astra级下降的约85%,使所分析的RL工作负载中的总分配基本保持不变。这种模式与部分训练和实验转向非Astra模型相一致,因为涉及Astra的工作受到限制,也与研究人员为新限制所覆盖的工作负载之外的计算寻找其他用途的轶事报告相符。

这些数据为正在进行的关于训练和安全的讨论提供了一个有用信号:当新控制措施引入时,计算仍然宝贵且灵活,自然会流向研究企业内部的替代用途。从长远看,关于AI进展速度的讨论还应该延伸到这样一个问题:受新控制或拟议控制约束的计算如何能得到最佳利用。

5. 前路

取得并理解朝向对齐RSI的进展,对我们的使命非常重要。我们将继续完善方法,汇报不断演进的理解,并努力实现知情公共辩论以及对前沿系统的有意义民主治理。

附录:本文的方法

智能体驱动的AI研究仍处于新生阶段,我们仍在学习如何衡量它。有些指标,例如研究团队生成的代码量,相对容易收集,但难以解读,因为它们与研究进展的关系不确定。更直接聚焦研究进展的指标——例如智能体完成研究人员交给它们的任务的成功率——可能更有用,但开发和验证起来很复杂。更困难的是,研究人员依赖的工具和系统正在快速演变。加深对研究加速的理解是整个OpenAI的一个重要专注领域。

在以上所有分析中,除非另有说明:“研究人员”是一个宽泛的术语,指我们研究机构的任何成员,包括一些构建研究基础设施、管理研究项目或以其他方式支持企业的人。编码智能体使用指标覆盖了大部分——但并非全部——使用情况,因为研究人员依赖的工具和系统在快速演进。

阅读原文
📚 相关主题 OpenAI研究

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新