AI安全大牛Sören Mindermann11月入职清华，研究AI失控

国际AI安全大牛，宣布加入清华大学人工智能学院研究AI失控了。

10月20日，AI安全研究者 SörenMindermann （索伦·明德曼） @sorenmind 发文宣布，他将于11月搬到北京，加入清华大学人工智能学院担任助理教授，同时继续在剑桥大学的研究工作。

简单介绍一下他的背景：牛津大学机器学习博士，博士后导师是18年图灵奖得主Yoshua Bengio，曾任《国际AI安全报告》科学负责人，目前是剑桥大学人工智能科学与政策项目CASP的技术研究负责人。 他也参与过模型“伪装对齐”、潜伏智能体等研究。

他提到，一些美国同行觉得学术界对AI已经没那么重要了。 但在中国，顶尖高校的学者依然深度参与产业、政策和人才培养。 这也是他看重清华的原因。

另一个让他在意的细节是，按照他的描述，姚期智领导下的学院支持以实际影响为导向的跨学科研究，对研究成果的期待，也没有建立在数顶会论文篇数上。

今年7月，清华启动了“清智人工智能安全枢纽”（BASH），提供共享办公、国际研究者来访、青年人才培养和双向交流，重点关注对齐、评估、可解释性和失控风险建模。Mindermann目前担任这个枢纽的联合主任。

他的研究计划里，有一项我尤其关注，也和RSI直接相关：当AI越来越多地参与AI��发，人类如何继续有效监督？模型会不会操纵自己参与开发的下一代模型，或者破坏原本用来约束自己的流程？