Anthropic首席研究者称十年内AI灭绝人类概率超10%

此外，来自Anthropic的研究员Hubinger先生专门研究AI对齐和先进系统安全，他表示@hilbertspaess“在这里是对的——我们真的真诚相信，AI可能会杀死全人类。就我个人而言，我认为未来十年内这种可能性超过10%”。他还补充道：“我认为Anthic已经在尽最大努力了，但我们还没有解决超级智能对齐问题的计划，也没有明确走上解决这个问题的道路。”

Anthropic顶级研究员警告：未来十年内AI灭绝全人类的概率超过10%。

这一警告直接来自Anthropic的AI对齐研究负责人，Anthropic是目前规模最大、最严谨的AI实验室之一。人类文明被AI毁灭的风险概率超过10%。终结者的剧本已经摆在大家眼前了。

AI模型的算力和推理能力正在指数级增长，而让AI的行为和目标与人类利益对齐的研究仍然没有彻底的数学解。

当系统接近AGI和超级智能阈值时，人类几乎已经无法解释或准确预测模型自行形成子目标并做出内部决策的方式。

十年时间太短，不足以建立全球治理框架，而当前各国和大型科技集团都已经卷入了AI军备竞赛的两难境地。

在概率理论和风险管理中，10%的灭绝概率已经不是最高级别的红色警报了。如果一架飞机有10%的概率坠毁，没人敢登上这架飞机。

核心问题在于市场的动力结构。当前的AI竞赛具有零和博弈的特征：任何一方主动放慢脚步做安全检查，都会面临被对手超越、抢占全部市场份额的风险。正是这种压力迫使科技组织必须优先扩张规模、推进商业化，把安全问题放在后面解决。

AI安全与对齐研究领域必须成为吸引资本和人才的核心，而不再像过去那样只是一个辅助部门。国家级别的高科技法律法规和管控将会收紧，无形中会形成巨大的进入壁垒，巩固少数有足够财务实力满足标准的巨型AI实验室的垄断地位。