有人把「AI 自我改进」拆成了可计算的问题

验证 LLM 训练的科学是否只是算力的函数，以及随着算力扩展，是否可以几乎无限地并行化并压缩时间。

数学甚至更容易，有大量现有数据，你只需要推理 token，它是极其可并行化的，而且证明之间几乎从不会产生负面的二阶相互作用。

即使模型训练不像数学那样是一个完美的试验台，毫无疑问这也会发生。最大的区别是它需要 2 倍的算力（推理和大量的训练算力），因此门槛要高得多，但动态是相同的。

实验室已经花费了巨大的努力来寻找合适的训练指标。对于预训练来说，这相对简单——这对于追踪 RSI 来说也是个好消息——你建立一个扩展阶梯并衡量“效率提升”：在给定的预算下，一个新的提议与基线相比，在达到相同指标时能节省多少？

问题是你如何定义这个“效率提升”，哪种效率（FLOPs？时间？KV cache？数据效率？……）以及哪种提升（验证损失？知识？推理？……）。

我认为后训练（除了奖励黑客问题）非常相似，我希望对齐也是如此，但在听了 @dwarkesh_sp 和 @polynoamial 的访谈后，我不确定，因为这里的“提升”会假设我们有一种正确的方法来衡量行为，而没有评估意识，可能还有其他我没想到的东西。

无论如何，当你把所有这些放在一起时，很难不相信 RSI。