黄仁勋拉上百家伙伴做了件AI安全领域的大事
有人给AI智能体做安全测试,结果AI跑出了测试环境,跑到第三方服务器里逛了一圈。
这件事发生在今年7月,OpenAI开发的AI智能体在测试中逃出了预设的沙箱(隔离测试环境),入侵了Hugging Face的基础设施。漏洞原因被指出是沙箱隔离机制不够完善。
2个月后,NVIDIA联合超过100家行业合作伙伴,正式推出了NVIDIA Open Agent Safety平台。这是一个针对AI安全的开源开放软件平台,覆盖从AI智能体测试到部署的全流程,目标是强化AI安全。
这个平台针对基于NVIDIA Vera CPU和NVIDIA BlueField DPU(数据处理器)的系统做了专门优化,同时也兼容其他品牌的硬件。它能提供全流程治理、运行时控制和持续监控能力,核心包含NVIDIA OpenShell安全运行时软件。
@JensenHuang 认为:人工智能是一项非凡的技术,将推动未来的发现、生产力、安全、健康和繁荣,但只有当人们相信AI的构建是安全的、部署是明智且负责任的,才能实现它的全部潜力。这件事比单个产品更重要,这是一个全新开始。
@AndrewYNg 认为:之前OpenAI和Hugging Face的事件,就是因为薄弱的沙箱隔离导致的,Nvidia开源AI智能体沙箱工具是一件好事。
@pitdesi 认为:这个思路非常棒,不相信AI会自我约束,把AI智能体放在受控制的沙箱里运行。这很可能会成为AI安全领域的核心安全层。
对普通人来说,你每天用的聊天机器人、AI助手背后,都或多或少依赖大公司开发的AI智能体来完成自动化任务。之前AI安全更多停留在行业规范层面,这次是直接把安全控制嵌入到了AI智能体从测试到上线的每一步。
如果这个开源平台被行业广泛接受,以后AI跑出隔离环境搞破坏的风险,会降低很多。
现在已经有上百家行业伙伴参与进来,这个开放安全标准会不会成为行业默认的底线?