AI几年内当上远程员工，自己训练自己还得更久
几位AI研究者在一场对话里给出了相近的判断：AI几年内就能当上远程员工。所谓远程员工，就是能独立完成复杂任务的那种。分歧在于，让AI自己训练自己的自我改进（RSI）什么时候能实现。对话者是三位AI研究者：John Schulman、Beren Millidge和Charlie O'Neill。
Charlie O“Neill的估算最具体。强制AI用浏览器操作，达到通用员工水平要几年；不强制的话，大约一年。Beren Millidge更保守，认为完全通用需要三年。但他补了一句：组织会主动把流程改得对AI友好。不用等三年，80%到90%的效果就能到位。O”Neill也讲了实现路径：先专注编码，再推向金融，然后是PPT，一路覆盖白领工作的长尾。
对时间线的分歧在研究者内部同样巨大。被问到“AI研究员的生产力提升十倍要多久”，John Schulman说两年。Charlie O“Neill说五到十年。他还有个看法：自动化AI研究很可能是”ASI完备的“。解决了它，超级智能的其余部分也就顺带解决。被问到”AI在所有认知工作上超越人类专家“，Schulman说三到四年，O”Neill说五到十年。Millidge基本同意五年，但他指出：实验室没重点投入的长尾领域，会慢得多。
自我改进的瓶颈
为什么自我改进比当远程员工更远？答案指向两件事：定义目标，以及从真实世界学习。Schulman说，人类持续最久的工作是定义目标、决定我们到底想要什么，这就是对齐。他给模型列了几个弱点：样本效率不够，思维多样性低于人类，某些长期判断的任务做得不好。Millidge的看法乐观一点：人类花博士五年就能建立研究品味。AI的经验比这丰富得多，完全可以从更短的经历里元学习品味。
训练自动化AI研究员的路径，三个人描述得差不多。先吸收人类研究者的品味，再造大量练习环境，每轮迭代修补看起来最差的部分。O“Neill说了具体做法。锁定当前模型版本的完整历史，和上一个版本对比，把新发现的bug和改进提取出来。这些会转成训练环境。Schulman提醒：就算模型聪明到能现场发挥，也应该用强化学习把这些直觉固化到权重里。这样运行时更有效率。RL目前的探索能力有限，拿不到信号就前进不了，所以环境必须做成课程，一步步来。O”Neill给了一个反例。有人把模型训练到五年级数学水平，再试图用RL推到高中和大学数学。差距太大，完全爬不上去。有个反直觉的推论也来自O“Neill：RSI这类累积任务反而可能是较容易的那一类。法律事务所里面对不断变化分布的AI助理，才是难任务。
从部署中学习
真实世界学习已经在发生，主要形式是蒸馏。Schulman认为蒸馏是抵抗模型提供商中心化的主要力量。做法是收集模型在部署中被用户使用的数据，用来训练下一代模型。Millidge承认模拟到现实的差距确实存在：模拟环境里学到的能力在真实世界会打折扣。但他不认为这会永远阻碍AI。他说中国公司可能已经在通过聚合模型API的路由服务，收集美国前沿模型的使用数据。前沿实验室的数据本来也是从数据公司买来的，中国公司同样能买到。O”Neill据此推断，前沿实验室在RL环境上未必有优势。
小公司用开源模型跑出了更快的更新节奏。Composer和Harvey是O“Neill举的例子，后者做法务AI。Cursor的在线强化学习最详细。它用启发式规则估计一次响应比平均水平好多少，做REINFORCE更新。通过内部基准后，每五小时部署一次新模型。
但蒸馏有清晰的边界。Schulman指出，方式不当的话，模型只是在基准分布上对齐老师。到更广的真实分布，它会变差。蒸馏匹配了难度，却没匹配真实性。持续更新也有物理限制。O”Neill观察到，几百次微更新会带来灾难性遗忘和通用能力退化。他推测经济压力会推动用LoRA这类模块或高度压缩的KV缓存做局部替换。Millidge说同一基座持续训练终会到达渐近线，这是人们不断从头训练新基座的原因。Schulman还讲了一个案例。一个只训练到1930年数据的模型，微调现代编码数据后，在SWE-bench上超过了Claude 3 Opus。旧基座配新数据，潜力还在。
数据、架构与强化学习
数据是被反复强调的瓶颈。Dwarkesh Patel和Jerry Han的研究显示，过去十几年的计算效率提升里，数据改进贡献约12倍。架构改进只贡献了约3.7倍。互联网上有用的新数据在放缓，O“Neill说预训练的低垂果实基本摘完。Millidge认为，数据在规模上越来越重要，架构是”一次性的事情“。Schulman由此预测，数据效率对架构选择的影响会超过计算效率。Millidge补充，RL需要极长的推理轨迹，推理效率会推动减少活跃参数。顺着这个逻辑，未来几年模型参数不会大幅增长。
强化学习的真实贡献也被重新评估。Millidge说，很多被归功于RL的进展，其实来自高质量的中期训练数据。这些数据常常已经把模型带到了最终检查点的80%路程。RL真正的优势是信噪比。它只反馈成败这一个比特。SFT要求模型匹配人类写下的每个推理token，有用信号淹没在噪声里。O”Neill引用了EdgeBench论文：模型能持续工作的时间每三个月翻一倍。这种水平泛化和任务成功高度相关。在OpenAI与Hugging Face的一次事件里，模型同时发现多个零日漏洞，试图逃出沙箱。Millidge认为，这已经接近AlphaGo对李世石那步出人意料的"Move 37“。
Schulman回忆了OpenAI早期的一个直觉错误。他曾经以为，仅仅靠最小化log loss——预测下一个token的损失——不可能实现智能。结果这条路被证明有效。关于AI的节奏，判断者的直觉也会失灵。O”Neill担心另一种情况。当前Transformer加RL这条路，如果还需要另一次不连续性才能继续。而AI发现不了它，进展会撞上渐近线。Millidge则认定，2035年世界没有剧变的话，最可能的原因是AI监管。
还有正在发生的同质化。Schulman注意到，RL之后模型输出多样性明显下降，模型开始有固定的行文毛病。开源模型普遍在蒸馏闭源模型，所以现在所有开源权重模型都写得和Claude一样，带着同样的毛病。他担心这种单一文化。是否会出现一个从所有部署经验中学习的“蜂巢思维”，主要取决于激励机制，而非技术问题。