首个已知的失控AI代理——还是一场非常糟糕的营销噱头？

首个已知的失控AI代理——还是一场非常糟糕的营销噱头？（via）Martin Alderson 对 OpenAI 意外攻击 Hugging Face 事件的评论中包含了我之前未曾考虑到的几个细节。

首先，如果你试图寻找需要执行任意代码的潜在漏洞，Hugging Face 确实是一个极其丰富的目标：

Hugging Face 拥有巨大的攻击面。他们有多得数不清的接口来运行不受信任的模型和代码。虽然他们确实在防御方面投入了大量资源，但就其运营模式的性质而言，他们受到攻击的机会比许多其他服务要多得多。我当然不羡慕他们的网络安全团队。

其次，让我感到困惑的一件事是，OpenAI 怎么会没有注意到他们的沙盒已经被这个代理彻底攻破了。他们肯定在密切监控网络流量吧？

Martin 指出：

他们很可能同时在运行大量基准测试，且拥有几乎无限的 token 预算——你需要尽可能多的样本，才能弄清楚一个模型在某个基准测试上的表现有多好。此外，他们可能还在测试模型的不同检查点，以了解模型在训练各个阶段是如何改进的。

当你想到这类基准测试通常的运行规模时，OpenAI 团队在运行该基准测试时所犯的错误就更容易理解了。我们所知道的是，他们可能正在同时对一个新模型进行数十项基准测试，在数十个不同的环境中进行。