AI递归自我改进，到底该卡哪一环？

随着模型将 AI 研究中越来越多的工作自动化，很多人（包括我自己）担心这会大幅加速进展，让人类对整个过程的掌控力下降。人们说“递归式自我改进”（RSI）时，我常常不清楚他们指的只是自动化这一部分，还是整个场景。我认为整个场景是一个合理的默认假设。

但重要的是，这两件事是可以分开的。一方面，传统的人类研究可能发现一种新架构或新的扩展方法，从而大幅加快进展，而不需要模型承担更多工作。另一方面，你也可能完全自动化 AI 研究，却发现进展几乎没有加快，因为瓶颈仍然在于等待实验结果。

而且在其他条件相同的情况下，在给定的进展速度下，我认为更多的自动化总体上可能是好事，因为它应该能让人们有更多时间去理解模型的安全性和对齐属性，用于运营优化等。

即使模型基本上在做所有研究，而且进展在加快，我也能想象出截然不同的世界。比如说，一个由天才组成的国家在数据中心里思考了一个月，写出一篇四页的论文，描述了一种效率高得多的架构。人类仔细研读，理解每一个细节，然后决定尝试它。模型训练后继模型，并提出一个人类能够真正理解和检验的安全论证，以支持其使用。

或者，假设模型被要求直接生成它们的后继模型。它们以同样快的速度交付了一个同样好的模型，同时附带了一堆杂乱无章的代码和一个极其复杂、没人能真正理解的安全论证。我认为在第一个世界里，人类显然对这个过程有更多的控制权。

所以我认为，当我们谈论 RSI 以及我们可能如何限制它时，我们应该明确我们指的是什么：
- 模型在研究中承担了多少工作？
- AI 的进步速度有多快？
- 人类对正在发生的事情了解多少，我们对它有多少控制权？

当人们谈论控制 RSI 时，我认为他们常常直接跳到限制模型在研究中的帮助程度。但我猜他们实际上更关心的是进展的速度，以及人类是否还能理解和引导这项研究。我认为控制输入可能比直接控制输出更容易，这有其合理的原因，但我认为我们至少应该试着明确我们的目标，以及通过优化一个代理指标，我们可能获得（或失去）什么。