hsu_steve讨论AI递归自我改进的可能性

来自AI纪录片《机器神祇》的RSI部分

下一个临界是递归自我改进（Recursive Self-Improvement，RSI）：AI能够无需人类协助改进自身的时刻。数十年来，这听起来都像是科幻小说。

智能爆炸场景想象了一个系统重写自己的代码、变得更智能，然后利用这种新智能让自己变得更优秀。但如今，既然AI能直接贡献于前沿科学，这个想法看起来就不那么遥远了。

在数学领域，近期的系统已经从解决竞赛问题更进一步，开始针对长期悬而未决的问题提出真正全新的论证。AI被用来构建物理学世界模型，提出候选理论或计算方法。

这些都是机器认知正在进入科学自身创造循环的早期信号。关键转变发生在这个循环向内转向的时候。毕竟，AI研究是由代码、数学、信息流模型构成的技术学科。而这些恰恰是前沿模型改进最快的领域。

一个能解决复杂数学问题、写出生产级质量代码、设计实验、阅读文献、评估基准结果的模型，已经在参与构建自身下一代的工作了。一开始这看起来平淡无奇。

AI系统将编写内核优化、改进训练基础设施、发现更好的数据过滤器、调整强化学习流水线、设计新基准，并提出架构修改建议。人类研究者仍会留在循环中，批准变更并解读结果。但重点在于搜索过程会加速。

模型不再只是实验室的产物，而是实验室研究机器的一部分。正在被优化的系统会帮助优化下一个系统。这就是RSI反馈循环的核心：更好的模型让AI研究更快；更快的AI研究产出更好的模型；反过来，这些模型会变成更优秀的研究者。

危险在于，一旦这个循环变得足够自主，它可能就不再像普通的技术进步了。人类机构进展缓慢，因为人本身很慢：我们要读论文、参会、调试代码、睡觉、争论、还要等 funding 周期。机器不需要按照这个时间尺度运行。一个AI研究集体可以在数百万处理器上持续运行。

这就是失控的可能性。不是说AI会立刻觉醒并递归重写自己变成神，而是整个AI生态系统会变成一个自催化过程。资本买来算力；算力训练模型；模型改进模型；更好的模型吸引更多资本。

在某个节点，推动AI进步的主导输入可能不再是人类洞见，而是机器生成的洞见、机器编写的代码、机器运行的实验。届时，巴特勒-兰德类比会变得更加清晰：人类不再只是建造机器。我们在建造能帮助建造更好机器的机器。一旦智能本身变成 par