AI Pulse
📡 X 信号

AI 安全圈的预测,连要预测什么都没说清

AI 安全圈似乎很困惑,他们预测的时间线到底是通向什么。递归式自我改进(RSI)已经在发生了,所以“通向 RSI 的时间线”这种说法毫无意义。“超人 AI 研究员”(SAR)或“碾压顶级专家的 AI”(TED-AI)要具体一些,但经常被混同于“智能爆炸”或“超级智能”。

前者*有可能*很快就会演变成后者,但在情绪层面,人们似乎把对前者的预测当成了截止日期,认为过了这个点就无法预测或规划了。(而且,即便是后两个词,分辨率也已经太低,没法用来做有意义的引导——比如我会说,我们其实已经处在一场节奏偏慢的智能爆炸之中。)

预测 AI 接管何时发生就更模糊了,因为没人能拿出一个有说服力的方法来界定这个阈值。比如在《AI 2027》里,2027 年 12 月被定义为“人类还能合理掌控自身未来的最后一个月”,但这个时间点对任何人类来说都是不可观测的。在一些人看来,今天人类最终能掌控局面的可能性*已经*非常渺茫了——所以我们又一次在预测一个可能已经发生的事件的时间线。

这对集体认知非常不利。所以我的请求是:

1. 永远不要给出“时间线”估计,除非明确说明是通向*什么*的时间线。
2. 这个“什么”不应该是 RSI 或智能爆炸,因为它们已经在发生了。
3. 如果你的“什么”非常抽象(比如 TED-AI 或接管),那就同时给出至少一项非常震撼的具体能力的时间线,比如:
- AI 能从零开始设计一种非蛋白质基的类细菌生物
- AI 能在 10 小时的交互后说服任意一个人类自杀
- AI 能造出一枚火箭,在登陆火星后一个月内完全自我复制
- 地球文明每年向轨道发射 100 万吨载荷(目前是 3000 吨)
- 地球文明每年利用 100 ZJ 的能量(目前是 0.6 ZJ)

(即便这些指标,随着我们越来越接近,也会变得模糊和定义不清,但这是我目前能想到的最好办法。欢迎大家提出更多建议!)

没错,你可能会想“到那个时候人类早就被剥夺权力了”。但既然我们对“被剥夺权力”到底长什么样都如此困惑,就需要这些切实的指标来让自己保持锚定。否则每个人都会继续抛出各种数字,却根本不理解它们的含义。

另外,过去十年我最大的收获之一是:AI 能做出各种疯狂的事情,但对现实世界的影响却出奇地小。AI 现在能解决千禧年大奖难题,或者自主入侵各国政府系统,但在现实世界中仍然几乎没有什么权力。所以我预计,当我们实现上面列出的某些疯狂能力时,人类大体上仍然掌握着主导权。

今天这听起来有点难以想象,但一二十年前的我们,也同样难以想象现在的处境。

最后,我猜人们之所以如此一窝蜂地追捧“短时间线”(推文在此截断)。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新