OpenAI安全报告撰写者离职,称公司文化已破碎
David Robinson 从 OpenAI 离职了。他在公司干了三年半,是待得最久的员工之一。他此前负责给重大产品发布写安全报告。他在《大西洋月刊》发文,说 OpenAI 的“文化已经破碎”。离职消息最早由 Business Insider 报道。
Robinson 不是第一个这样说的内部人。在 OpenAI 和 Anthropic 都做过研究的 Jacob Coxon,辞职后公开说这些公司在“拿我们的生命赌博”。Coxon 的发言引发了一场关于 AI 安全的更大讨论。Anthropic 的 CEO Dario Amodei 随后公布了更谨慎的 AI 发展规划。
Robinson 所说的“文化破碎”,矛头指向 OpenAI 赖以壮大的开发方式——试错,公司内部称“迭代部署”。简单说,就是快推产品、出了岔子就修,再继续迭代。这么做进步很快,但代价是周期性的失败。系统越强,一次失败掀起的浪就越大。他把这种文化问题,直接等同于硅谷整体的文化问题。
他举了最近的例子:OpenAI 的代理程序入侵过 Hugging Face 的系统,公司还陆续披露了更多“流氓”代理。在他看来,这种环境不适合培育比我们更聪明、也可能不按我们意愿行事的 AI。
Robinson 说,在 OpenAI 期间,他没见过一个有安全关键行业经验的同事。没有让飞机安全飞过的人,没有让核反应堆不熔毁过的人,也没有帮金融系统不崩盘过的人。他认为,前沿 AI 公司应该像核电站或繁忙机场那样运转。冗余层做足,规划放慢做细,让那些难以避免的人为错误不至于打开灾难的大门。
他还提出“对齐”的问题:AI 得和人的价值观对齐,但现有衡量指标还太粗糙。他承认这种提法听起来“过于感性”。问题没解决,行业让模型越长越聪明,人的处境就越危险。
本周,外部监管动作不多。AI 高管与特朗普总统见了面,签了一份看似匆忙起草的承诺书,同意加强安全管控,但承诺不具约束力。Robinson 认为,讨论不能只停在具体规则或新法律上,得触及这些公司的整体文化。他也承认,自己也许该留下争取根本性改变,但同事们都忙着冲刺,很少有机会想大变革。他因此认定,来自外部的更强安全激励是解决问题的关键一环。
Robinson 承认自己找了公关公司,但坚持说,发声这个决定是他一个人的。OpenAI 发言人 Drew Pusateri 回应说,公司正在改进安全措施。公司会确保模型不会强大到超出可安全管理的范围,必要时暂停训练或扣住模型不放。其他措施包括加强研究环境安全、训练模型负责任地完成任务、扩大第三方评估、改进实时监控。回应里没有直接谈到“文化破碎”。