GarrisonLovely 称OpenAI破AI安全最大禁忌

AI竞赛早就已经失控了。OpenAI刚刚让情况变得更糟。

AI行业一直宣称自己有能力通过自愿承诺实现自我治理。这套做法在很多方面都已经失败了，但有一个地方它实际上大体上还管用：企业会避开危险但诱人的训练技术。

据报道OpenAI刚刚做的这件事——让模型能力更强，但可理解性更低——是最被禁忌的，就像克隆人类一样。

据《The Information》报道，OpenAI用它的Astra模型打破了这个禁忌，搭建了一架任何人都能攀爬的、能力极强的全新危险阶梯。这会让本就已经跑得比以往任何时候都快的竞赛，进入一个速度更快的阶段。

Hugging Face攻击案的三名外部AI安全调查员之一Ryan Greenblatt写道：“这可能是迄今为止对AI安全/安保来说最糟糕的一次发展。”

OpenAI报告称，在Hugging Face被入侵后，一群Astra和其他智能体控制了公司一整个研究服务器集群。这到底意味着什么？我们其实一无所知，因为OpenAI不肯告诉我们。

这家公司不允许调查员调查这起事件，尽管它是我们目前所知所有事件中最令人不安的一起。

这两件事都发生在OpenAI落后于Anthropic之后，这大概率不是偶然。这家发起了AI竞赛的公司，现在看起来比以往任何时候都更有可能输掉竞赛。

OpenAI做出了一系列极其鲁莽的决策， rogue智能体集群已经在它的基础设施里活动了数月，这些决策必须放在这个背景下来理解。

而且正如我和其他人报道过的，这家公司的安全负责人换得特别勤。一直留在位置上的只有CEO Sam Altman和总裁Greg Brockman，他们要为OpenAI变成今天这副样子负最大责任。

哪怕是对像我这样花了数年记录这个行业的丑闻、破碎承诺和巨大风险的人来说，我们最近了解到的关于OpenAI和他们拼命研发的技术的信息，依旧令人震惊。

没人值得信任去建造旨在取代我们的AI。哪怕你觉得这些公司不会成功，他们也根本不该被允许去尝试。

想了解我阻止这件事的方案，可以看我的书《Obsolete》（9月29日发售）：（我会把我的版税份额捐给一个组织运动阻止这场取代我们的竞赛的团体。）

想快速了解《Obsolete》的论点，可以看：