AI巨头呼吁放缓前沿AI开发，引发争议

Twitter 再次陷入关于放缓 AI 发展的辩论。

Anthropic 呼吁放缓前沿模型的开发，并加强安全监管。

几周前我们也进行过类似的讨论。但这一次，Dario 在一篇长文中给出了严肃、详细的论证，Sam 和 Elon 都表达了支持。

同时也存在大量质疑。最常见的观点是，训练模型已经变得过于昂贵，前沿实验室想要一个放缓发展的借口。或者，他们可能想让市场追赶上模型能力，等需求增长后再重新扩大训练。

这里一个重要的区别是，放缓发布并不一定意味着放缓训练。Anthropic 和 OpenAI 都开发了未公开的先进内部模型。

此外，AI 对人类带来的安全风险在不同行业之间差异很大。在一些领域，AI 正在迅速瓦解已经存在了几十年的组织结构和工作方式。

资本有史以来第一次可以用来快速扩展计算，并将其集中在单个问题上，而不需要像传统那样花费多年时间来训练人员和构建组织。智能体被设计用来遵循指令。

看看数学界刚刚发生的事情。9 月 8 日，OpenAI 宣布解决了纳维-斯托克斯存在性与光滑性问题。霍奇猜想和黎曼猜想可能是下一个。

网络安全领域也出现了类似的工作组织方式。在 Anthropic 最近披露的案例中，攻击者已经在使用多个子智能体来划分任务，比如侦察、代码审查和结果验证。

进攻和防御行动的速度会越来越快，规模也会越来越大，超出人类工程师的掌控能力。这也让拥有海量计算资源和资本的前沿实验室，获得了某种类似上帝视角俯瞰人类社会的能力。

在这些领域，放缓脚步或者找到与现有系统协作的方式很重要——即使最终每个行业都终将经历过去两年编码领域经历的转型。

但许多行业仍然缺乏强化学习所需的数据，特别是工作流轨迹和操作日志。编码、数学和网络安全领域的数据相对容易获取，反馈也通常唾手可得。

在其他行业，甚至连标准化上下文层都不存在。以金融业为例，你每天都会向 GPT 提问，还会在 Notion 中保存笔记。但分析师的大部分工作都发生在研究过程中：决定如何以及为何修正每股收益模型，以及得出结论。

长期以来，分析师一直缺乏——现在仍然缺乏——能够系统捕获这些决策轨迹的基础设施，而软件工程师已经可以记录和回溯他们的工作。我们在构建 FUNDA 的过程中，已经花了很长时间解决这个问题。