AI Pulse

Anthropic 招股书承认:AI 自我改进临界点临近,跃升或难察觉

Anthropic 招股书承认:AI 自我改进临界点临近,跃升或难察觉

Anthropic 周一提交了修订后的 S-1A 文件。除了更新过的财务数据,它在风险提示部分写了一段话:公司可能即将达到“递归自我改进”(RSI)的能力门槛。

RSI 指的是 AI 在训练自己这件事上强到一定程度,强到能把能力曲线拽出一个陡坡。造模型的一部分活儿交给模型自己做,速度就不再由人一步步推着走。

担心 AI 失控的人把 RSI 看成一道有去无回的门:AI 把自己建到足够强,强到滑出人类控制,并且在奔向目标的路上对造成的损害无动于衷。看好这项技术的人则把它当成承诺兑现的地方——难以想象的生产力和科学发现。

Anthropic 自己的措辞偏谨慎。文件写明,用 AI 帮忙构建更强的 AI 可能带来相当大的安全风险,尤其是在它大幅加快进步速度的时候。公司还承认,用 AI 加速自身研发,可能让模型能力跑在安全、对齐和防护措施的开发、验证与落地之前。

更直白的一句是:Anthropic 说它过去就用 AI 开发过新模型,而那些模型的能力跃升在当时没被认出来。文件补了一句,以前没识别出来,以后也可能识别不出来,直到加速已经发生。

触发点不是当前这一代模型。Anthropic 说,是内部估计加对未来模型的预期,让它判断公司可能很快满足负责任扩展政策里“由 AI 导致的急剧加速进展”的定义。但它同时说明,目前没有把任何现有模型认定为越过这条线,底层数据还在评估。这个定义对应哪些技术指标,文件没有展开。

在人的位置上,措辞留了余地。公司承诺在可预见的未来把人类留在研发流程里。另一句更具体:即便技术上真的可行,它也不预期能把设计、构建下一代前沿模型这事整个交给 Claude。前提是得有有意义的人类监督或理解。为了守住这一点,它正在考虑更新那份负责任扩展政策——RSI 风险本来就在这份政策的覆盖范围内,由它负责监控和缓解。

怀疑的空间确实存在。S-1 这类文件同时干两件事:披露,和营销。说自己接近一个能自我构建的模型,也可能落在后一件里。

但 Claude 今年在编码、数学和网络安全上的进步是实打实的。同一份修订文件里,收入在飙升,支出也在飙升。

其他实验室离这条线还有多远,文件没说。监管机构会怎么接,也没提。

关键事实

阅读原文
📚 相关主题 安全商业

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新