一人训完预训练模型，研究员的经验就作废了？

昨天，一位初级研究员给我发消息，既沮丧又有些害怕。他们刚看到一家公司发布消息，说自己的模型是由一名研究员完成预训练的。整个预训练过程就一个人，没有研发团队，什么都没有。

如果一个人加一个算力集群就能完成过去整个团队才能做的事，那他们花了多年积累的专业知识就已经过时了。我理解这种恐惧。这类营销头条就是为了制造这种恐惧而设计的。但我认为这个结论是错的，而它错在哪里，恰恰说明了如今研究员的价值所在。以下是我对他们说的话，做了一些扩展：

1. 保持适应力：递归自我改进（RSI）是真实存在的，但现在还没到那一步

递归自我改进是真实的，你应该为此做好规划。今年 9 月，OpenAI 表示其研究组织现在每个工作日能完成 3.1 个智能体工作日的工作量，并计划在 2028 年 3 月前实现自动化 AI 研究员。模型可能很快就能运行大部分预训练和后训练流程。如果你的五年计划不是基于这个前提制定的，那就改变计划。

我们已经看到主要厂商发布了大量开源成果，包括开放权重和详细的技术报告。有了这么多公开的技术知识，只要你有足够的算力，复制一个普通的架构（可能带有滑动窗口注意力机制）并训练出某个模型并不难。这使得它成为一个执行和预算问题，而不是研究问题。

如果一个人可以通过遵循已经公开的方法来训练模型，这说明这些方法已经成熟。这并不说明发明这些方法的人不再被需要。真正稀缺的是运行这些方法所需的算力，以及关于下一步该尝试什么的想法。我推文的其余部分将围绕这些想法展开。

2. 研究员的角色不再局限于重复已知且安全的工作

如果一个智能体和一个算力集群就能复现已知的东西，那么复现已知的东西就不再是一份职业。如果你的大部分工作只是用去年的方法做些小调整，那这份工作正在迅速萎缩。这是这个消息中令人不安的一半。

另一半是，自动研究目前还行不通，至少在关键意义上是这样。在有人已经定义了问题并建立了评分标准的地方，智能体确实能发挥作用，而且表现令人印象深刻。在 EinsteinArena 平台上，智能体在 11 个开放数学问题上创造了新纪录，包括将 11 维空间中接吻数的最佳已知下界从 593 提高到 604。请注意，这些问题中的每一个都是因为计算机可以自动为答案评分而被选中的。人类挑选了问题并编写了评分代码，智能体则负责搜索。

还有一篇完全由 AI 生成的论文通过了同行评审。听起来很了不起，但当你阅读细节时就会发现，它只通过了第一轮评审（后来被撤回），而且是在一个研讨会上，而不是主会议上，而那个研讨会接受了 70% 的投稿。

这些并不是为了贬低智能体。关键在于我们是互补的。智能体擅长完成过去需要数周才能完成的工作。基本上，就是编写代码、