NVIDIA与Anthropic:AI从回答问题到替你办事
公司正在从“用AI回答问题”转向“让AI代理干活”。这些代理跨业务部门处理复杂工作,使用专有数据,直接代表员工采取行动。代理能做的事越多,被赋予的访问权限越大,公司就越需要控制它、检查它。
NVIDIA发布了开放代理安全平台(Open Agent Safety Platform)。这是一个开放软件平台加参考系统设计,专门用于加强AI安全。Anthropic和NVIDIA合作,给代理栈增加额外的安全和控制层。
防护从模型内部的安全措施开始。Managed Agents和OpenShell在模型外部加限制,管的是代理实际做什么。每一层独立执行规则,公司可以按自己的架构选装。
先说Managed Agents。这是Anthropic的一套可组合API,用来构建和部署生产级代理。代理干活要用的密码和访问密钥,放在单独的保险库里,代理永远看不到。代理循环跑的服务器,和真正发生工作的沙箱,也相互分离。审计跟踪记录每个代理的行为,还能接入公司已有的访问控制系统。沙箱可以由公司自带,运行位置和方式自己选。
再看NVIDIA OpenShell。这是开源的安全运行时软件,管的是代理在工作时能执行什么、能碰到什么。策略是默认阻止一切,除非有规则明确允许。代理每尝试用一个工具,OpenShell都会检查,对文件、网络连接和数据访问逐项应用规则。规则在代理外部执行,OpenShell记录每一次允许或阻止的决策。
权限可以逐渐收紧。团队可以先给很窄的权限,让代理跑起来,然后翻日志。再用Claude把规则一步步收紧,直到代理只拿着完成任务所需的最小权限。OpenShell还有个策略证明器,用数学证明确认代理在团队写的规则下能触达什么。
Managed Agents按生产级标准设计:安全沙箱、身份验证、工具执行都处理好了。会话能长时间运行,代理可以自主跑数小时,断网后进度和输出还在。它还支持多代理编排,一个代理能启动并指挥其他代理,把复杂任务拆开并行。接入真实系统时,受限权限、身份管理和执行跟踪都是内置的。
已经有人在实际用了。Notion让团队在工作区内把活儿交给Claude。工程师用它发布代码,其他员工用它做网站和演示文稿;几十个任务可以同时并行。Rakuten在工程、产品、销售、市场和财务条线跑了专业代理,每个代理一周内部署完。Asana做了AI Teammates,代理在项目里和人协作、接任务、出交付物。用上Managed Agents后,团队加高级功能的速度比原来更快。
Managed Agents今天起可用。它可以跑在自己控制的沙箱里:要么用公司自己的基础设施,要么交给托管提供商。OpenShell以Apache 2.0许可开源。代码在GitHub和NVIDIA开发者资源页面上。对准备把AI代理接进真实业务的公司来说,这套组合现在就能搭起来。默认拒绝一切,决策留痕,权限边界用数学证明验证。