一位作者：AI实验室事故的根子在管控，不在“智能体密谋”
AI实验室需要在测试和发布上采用企业式管控，近期事件印证了原因
我写了这篇文章，想在这里分享以供讨论。
近期媒体对OpenAI、Anthropic及其他实验室安全事件的报道，大量使用了“智能体密谋”或“追求自由”之类的描述。我认为这类语言将注意力从那些决定系统如何测试、能访问什么以及何时发布的人身上转移开了。OpenAI发生的Hugging Face事件是一个有用的例子。智能体利用泄露的访问密钥和软件漏洞进入了外部系统，而第一轮修复只是补上了个别弱点，并未恢复原本应有的隔离。
长期以来的商业实践早已涵盖这类失败。测试期间发生严重事件，应当触发调查，并在工作恢复前设置审批环节；而运行测试的团队不应当是自己工作的审批者。董事会应当要求独立安全审查，并赋予其阻止项目的权力。立法者应当要求披露严重事件。
我还讨论了桑德斯（Sanders）和卡萨尔（Casar）于9月23日提出的法案，该法案将永久禁止人工超级智能。我的看法是，管控、责任和披露规则是比禁令更好的出发点，我也很想听听大家认为这种方法在哪些方面仍有不足。
―― 高票评论(帖子共 3 条讨论)――
[+1] u/themassiveorchestra：拟人化的语言确实让高管们脱身了，发生这种事情之后，安全审计根本不该是可选事项。
[+1] u/Superb_Raccoon：倒不是说NIST没有告诉他们基本常识，或者你找一家像IBM或HPE这样的“恐龙级”公司给你解释一遍——毕竟NIST就是这些公司经验与最佳实践的浓缩。
但这就好比开车系安全带或骑自行车戴头盔……不酷，老兄。