英伟达牵头推开源AI安全平台,一百多家企业参与
有人刚在Hugging Face平台遭遇了AI agent(AI智能体,能自主执行任务的AI程序)攻击,损失不小,核心原因就是安全防护没做好。
英伟达联合超过100家行业合作伙伴,推出了开源的开放式AI智能体安全平台。
这个平台围绕运行时沙箱(给AI程序单独划出的隔离运行空间,防止它乱跑搞破坏)构建,具备内核级沙箱、基于策略的出站网络请求控制功能,包含OpenShell和Sentry两个核心组件。
平台支持本地通过NVIDIA Nemotron模型进行AI推理,能实现简单查询本地处理、复杂查询云端处理的隐私路由,还支持通过OpenShell TUI让操作人员批准被阻止的操作。
英伟达创始人黄仁勋认为:人工智能是出色的技术,能推动未来的发现、生产力、安全、健康和繁荣,但只有当人们相信AI的构建是安全的、部署是明智且负责任的,才能完全实现它的价值。这不是单个产品的事,而是一个全新开始。
知名AI学者吴恩达认为,之前OpenAI和Hugging Face遭遇的攻击,是因为薄弱的沙箱防护导致的,英伟达推出开源沙箱工具来防护AI智能体是件好事。
英伟达方面称,新平台原本就能阻止Hugging Face遭遇的那次攻击。目前这条核心推文已经获得超过775万次浏览,2.4万次点赞,总互动超过3.7万次。
英伟达原本在用于训练和运行AI模型的图形处理器市场占据主导地位,该平台是其向软件和平台服务领域拓展的重要一步。
按照英伟达的说法,AI安全不仅取决于模型本身,还依赖包括权限、防护、护栏、日志和评估系统在内的更广泛的周边软件栈,这个开放平台就是为此搭建的。
业内分析认为,该平台有望成为企业AI领域的基础,也可能会促使微软、亚马逊、Meta等竞争对手加速自身的AI智能体安全项目。
现在企业用AI智能体处理业务越来越多,安全出问题就是直接损失,对普通用户来说,企业做好AI安全,最终也能避免我们的信息被泄露出去。
这个由芯片厂商牵头的开源安全平台,能成为行业统一的安全标准吗?