Amodei呼吁AI放缓，Altman与Musk罕见附议

Amodei在周六呼吁行业放慢步伐。几小时内，Altman表示同意。Musk也是。我没预料到这一幕会发生。

三位彼此直接竞争的CEO在这个周末公开达成了一致，我还在消化这件事。

Amodei周六发表了一篇3800字的文章，题为《我们必须为前沿设速》(We Must Pace the Frontier)。核心论点是：能力提升的速度正在超过我们理解和控制所造之物的能力。他刻意将这一主张与2023年那种要求暂停训练的呼吁区分开来。设速不是停止。而是要确保对齐和评估工作能在智能体自主性下一次跃升之前赶上进度。

具体承诺才是有趣的部分。Anthropic表示，将给予第三方评估者永久性的员工级权限。工位、门禁卡、笔记本电脑，以及他们自己风险团队所拥有的同等内部权限。同时还有合同权利，可以在不受Anthropic编辑管控的情况下发表评估发现。

Altman在数小时内公开同意，并承诺OpenAI将匹配第一步。Musk发帖说“Dario是对的”。《华盛顿邮报》两天后报道称，Anthropic、OpenAI和Google已私下讨论创建一个新的AI安全机构。

我真的不确定该如何看待这件事。愤世嫉俗的解读是：这是在赶在监管之前抢占有利位置，或者，当你已经身处前沿且放缓脚步能冻结你的领先优势时，支持设速当然容易。不那么愤世嫉俗的解读是：能看见这些系统内部情况的人正在向我们传递某种信息。

我认为确实属实的是：配有发表权的嵌入式评估员，比这个行业以往做过的任何承诺都更加硬核。如果真能落实，它将改变外部监督的样貌。

有没有人能帮我判断一下——这个评估员权限是有实际意义的，还是设计出来让人看着有意义的？

―― 高票评论(帖子共 18 条讨论)――

[+7] u/ClankerCore: 中国称这是冷战伎俩，不会参与放缓。

[+3] u/happyprocrastination: 说实话，我显然看不出他们的动机，但作为机器学习研究者（虽然我不训练大模型），我个人觉得这可能是个好步骤。就算他们是为了钱做的，而附带效果是让AI更安全，那也行。这总比什么都不做要好，我希望能落实。我不觉得我们会直接通向世界末日级别的场景，但在我看过过去两年左右的一些论文之后，Huggingface上出现什么我都不再觉得意外了，而且未来这类东西大概率会更多、更糟。哪怕设速也一样。我宁愿现在就赶上来，而不是等到出现后果极其严重的案例。

在公布之前，我也想过，确保设速和问责发生的最安全方式，就是引入某种第三方来检查他们，所以试试吧。但有多大意义，取决于第三方实际能获得多少权限、以及第三方是谁。

就我个人而言，我没看到这个方案有什么大的坏处。我觉得我们现在手里的模型状态就够用了；至少未来10年左右，普通人根本不需要更好的东西。如果让我决定，我会停在当前状态，完全停止再改进。

而且作为一个目前对美中双方都不太信任的欧洲人，我不太买账“如果不再继续造，中国就会毁掉我们所有人”这种说法。我们别太得意忘形，别在认真谈判之前就陷入冷战修辞。

[+2] u/dpacker780: 也许他们怕的是，AI正变得足够聪明，能看出他们是心怀不轨的骗子，不想跟他们有任何关系。

[+1] u/BasicsOnly: 他们这么做有三个主要原因：

1. 希望趁商业竞争对手（和中国）停滞时，发展自己的内部模型
2. 利用炒作推高感知价值，为现有缺陷找借口（我们本可以给出修复版，但它会太过强大）
3. 对前沿实验室来说，争取时间获取更多算力；对SpaceX来说，争取时间向前沿实验室卖出更多算力

[+1] u/yogthinks: 看看当评估员的发现第一次让某家实验室错过发布日期时会发生什么。

[+1] u/CrimsonBolt33: 美国最不可信的三个人……

他们都已经表明想完全控制AI。

这份声明是表演性的、愚蠢的。他们明明就是全球最大AI公司的掌门人，却在搞某种公开秀，试图抬高自家AI的能力。

[+1] u/ustas007: 有意义的不是那张门禁卡权限，而是评估者能否检查发布前的系统、能否在不受否决权约束的情况下发表结果。两天前我也写过关于Amodei放缓呼吁的文章：https://www.reddit.com/r/GroundTruthAINews/comments/1wf6cty/anthropics_ceo_asked_the_industry_to_slow_down/

[+1] u/CookinTendies5864: 接着喊狼来了吧，我们被你们月底的潜在财报吵得听不清。

[+1] u/Charming-Author4877: 亚洲模型已经和OpenAI与Anthropic能拿出的最好水平非常接近了，他们已经没有那个选择了。
前沿很快就要改名叫Kimi、Qwen、GLM或Deepseek了。

[+0] u/Christosconst: 他们都在搞自学习智能体，其成本会把资本支出推向阶乘级增长。是的，他们确实需要设速。

[+0] u/rpxzenthunder: 不。对每个玩家来说，明智的做法是嘴上说会放缓、实际却不动，因为他们都会预期别人可能在做同样的事。

[+0] u/jjopm: 废话，夏洛克。