AI Pulse
🔥 热点深度解读

这家AI公司招安全研究员,要做又安全又开源的AI

不少人在日常用AI做方案、写代码的时候,都试过切换免费开源模型来省钱。

只是大家心里始终悬着一件事:开源模型一旦流出,万一被用来做危险的事,根本没法召回。

现在美国新晋开源AI团队Thinking Machines,打算啃下这块硬骨头。这支团队已经做出了能力很强的开源权重模型,在研究生级科学推理测试拿到87.9分,代码问题解决能力达到77.6%,竞赛数学更是拿到了97.1%的高分。

和多数闭源AI公司不同,他们从一开始就把安全绑定在了开源路线上。团队已经给自家模型做过风险测试,涵盖协助制造生物武器、发动网络攻击这类高危场景,最终模型表现符合安全要求。

团队核心成员@AlexRobey23 认为:未来几年最重要的AI安全研究,都会围绕开源权重模型展开。这支团队现在正在扩招安全研究员,研究方向覆盖训练前数据筛选、风险能力评估、安全后训练、红队测试等全开发流程,目标就是给开源模型发布建立足够扎实的安全依据。

前Cohere首席执行官mira murati也转发认同这个方向:完全有可能做出既开放又安全的AI模型,开放会变得越来越重要。

对于普通使用者来说,这条路走通的话,就能用上成本比闭源模型低70%、性能还高出14%的AI工具,不用再为了省钱牺牲安全,也不用为了功能交高额的订阅费。

而整个AI行业都在面对一个绕不开的问题:开源本身就是把模型放到了所有人触手可及的地方,就算提前做足测试,发布后依然不可撤销。

提前筑牢安全防线,能不能真的解开开源和安全这个死结?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新