AI 安全社区集体押注 2027 超级智能,被批证据不足
AI 安全是一场马拉松,不是短跑。AI 安全社区的观点正在迅速趋同,认为未来一年内将出现快速起飞。但这依赖于 AI 公司提供的几个低质量数据点和有争议的世界模型。我担心这种趋同会破坏认知环境,使 AI 政策和部署的良好决策变得更加困难。
预测未来先放一边;要裁决关于当下的主张都将变得(有时已经是)困难。它还将社区的精力推向了粗暴的工具,例如全面禁止 AI 开发,而代价是牺牲了提升韧性的去中心化、全社会范围的方法。并且它将非常政府干预和威权行为正常化。
我希望即使是那些担心迫在眉睫的超级智能和接管风险的人,也能看到 AI 安全社区的认知同质化是不健康的。该社区的全部注意力似乎都集中在一个有争议的数据点支持的威胁模型上,而它应该为一系列场景做好准备。
这表现在五个方面:
1)根据有限证据进行大幅更新。知名评论员根据基准准确率数字改变了他们的观点。当然,基准测试有一些信号。但任何可以被基准测试的东西,从定义上来说都是可验证的,因此可以通过强化学习进行优化。尽管如此,该社区已经形成共识,认为这些数字表明超级智能将在 2027 年出现。
2)将分析和干预完全集中在 AI 公司身上。该社区的分析很少涉及 AI 如何扩散,或者 AI 行业之外的机构如何适应。因此,几乎每一个事件都被视为关于模型能力的故事。最近微软、联合航空和美国国家安全局的中断,以及联邦航空管理局的停飞,都看到了关于先进 AI 模型发动的最新网络攻击的模糊帖子;它们都不是 AI 网络攻击的结果。美国国家安全局的中断源于修补使用 AI 工具发现的漏洞,这是 AI 扩散的结果。但这远不如 AI 网络攻击故事那么引人注目,因此没有得到太多关注。
3)忽视机构和能力建设,转而采取粗暴的(可能是威权的)干预措施。为了应对对迫在眉睫的超级智能的担忧,许多政策建议依赖于非常政府行动,这些行动转向了威权主义。大多数是对 AI 训练的全面禁止;很少建立机构能力来吸收 AI 对整个社会的影响。但是构建前沿模型的成本正在迅速下降,所以即使我们今天能够以某种方式禁止 AI 开发,这些禁令也无法有效预防社会风险。它们还会让我们在强大模型被公开发布或敌对民族国家开发出这种模型时,准备不足,因为我们的机构将无法应对后果。
4)采取“士兵”心态。该社区的许多成员似乎认为,他们的角色是为即将到来的威胁做准备,而不是分析和理解它。这导致了一种“不惜一切代价”的心态,优先考虑快速行动而不是深思熟虑。它还导致了对不同意见的不容忍,因为任何质疑威胁模型的人都被视为在阻碍准备工作。
5)忽视社会和经济因素。该社区的分析几乎完全集中在技术风险上,而忽视了社会和经济因素。例如,AI 的扩散可能会对就业和不平等产生重大影响,而这些影响可能比超级智能的威胁更直接、更紧迫。但这些因素在社区的讨论中基本上被忽视了。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖