AI Pulse
📡 X 信号

OpenAI研究员自曝:别拿安全当挡箭牌

以下是我个人的观点,不代表 OpenAI。

有许多 AI 安全干预措施是纯粹有益的。训练模型诚实,以及更广义的对齐,就是一个例子。模型变得更诚实、更对齐,这无疑是一件好事。

监控是另一个例子:它既可以阻止有害行为,也能帮助我们了解关于模型失准行为的宝贵信息。(而且在我看来,这需要付出不小的算力成本,因此会对速度产生一定影响,这是一个特点,而不是缺陷。)

削弱模型能力或限制其协助 AI 研究,则更为复杂。我能理解这样做的理由:防止不良行为者,尤其是来自非民主国家的不良行为者,开发出具有风险能力的模型。

然而,我也担心权力集中,特别是我们(即各大实验室)自身的权力集中,而这种做法似乎正朝着相反的方向发展。它还可能妨碍外部 AI 安全研究人员的工作。

而且,既然加速发展带来的许多风险来自内部部署,那么内部模型与外部模型之间的能力差距不断扩大,似乎并不是理想的状态。

我并不是说永远不会有充分的理由以某种形式施加一些限制,但在这个领域我们应该*非常*谨慎地行事。

还有一点我觉得有问题,哪怕只是让人觉得我们是在拿安全当借口,来掩盖那些可能出于竞争动机的做法,也是不妥的。营利性企业试图优化自身利润,这没什么问题,但我们要确保对此坦诚,而不是躲在安全的幌子后面。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新