顶尖AI安全专家跳槽,要挖AI公司风险黑料
常刷AI资讯的人可能听说过,大模型会不会带来灾难性风险,一直是行业争论的焦点。
但现在,连和风险相关的基础AI开发信息,绝大多数都没有公开。原本对公开信息的价值存疑的Ryan Greenblatt,最近改变了看法。
Ryan Greenblatt原本是AI安全实验室红杉研究的首席科学家,他已经宣布加入独立非营利AI安全研究机构METR,继续推进类似Hugging Face调查报告这类调查工作。
METR全称Model Evaluation & Threat Research,是美国注册的501(c)(3)非营利组织,核心工作就是开发评估方法,判断前沿人工智能系统会不会带来灾难性风险,还会对具体模型开展评估。它也是目前唯一一家和头部AI公司合作开展安全测试的机构。
此前,METR已经和红杉研究一起,完成了对Hugging Face相关事件的独立调查并发布报告,这次Ryan的加入,就是要继续推进针对头部AI公司内部开发信息的调查核实。
@RyanGreenblatt认为:现在获取AI公司内部的真实信息已经非常紧迫,目前公开的有限信息显示,AI确实存在快速自我迭代升级带来灾难性风险的可能性。
@anton_d_leicht表示:METR需要吸纳所有顶尖人才,业内也都希望METR能做好这份工作,它目前是推进AI安全评估最好的选择,但他依然对信息披露的透明度存在担忧。
对于普通关注AI发展的人来说,这件事意味着AI安全不再只是行业专家嘴里的抽象概念。已经有专业机构开始主动挖掘AI公司藏在幕后的风险信息,试图把原本不公开的开发细节摊开在阳光下。
当越来越多AI产品进入日常,所有人都在问,能提前看见隐藏的风险吗?