AI Pulse

微软推出新标准ACS,让开发者更精细控制AI代理行为

微软推出新标准ACS,让开发者更精细控制AI代理行为

随着AI代理的能力日益增强,急于在各应用、工作流和产品中部署它们的企业面临着一个新挑战:确保代理在不同环境中执行任务时能按预期行动。

微软正试图通过一项名为Agent Control Specification(ACS)的开源新标准来解决这一问题,该标准旨在为开发者提供更一致、更精细的控制方式,以限定AI代理允许执行的操作。

该规范本质上允许开发者、合规团队和安全团队自行定义代理应遵循的策略。规则可以定义代理可以做什么、禁止做什么、何时需要人工批准操作,以及应记录哪些证据以供后续审查。当代理执行任务时,这些策略文件会在多个"拦截点"被检查,以确保其不越出护栏。

该规范的推出正值开发者们即兴构思控制AI所见所行的方法之际,尤其是人们越来越关注因工具使用不当或意外操作导致级联故障的AI工作流问题。

当前,开发者可能会在系统提示中指定指令,在应用代码中添加自定义检查,或使用分类器捕获有问题的输入和输出。这些方法虽可行,但往往导致企业控制机制碎片化,难以审计,也更难在不同框架、接口和系统间复用。

图片来源:Microsoft

ACS旨在将这些控制整合到一个通用治理层中。微软表示,该规范可在代理工作流的多个节点检查其是否遵守护栏——在接收输入前、调用工具前、工具返回结果后,以及向用户发送最终响应前。策略可以允许操作、阻止操作、编辑敏感信息,甚至要求人员批准。

开发者还可以为输入和输出插入分类器,对信息分类、预测结果或决定代理应如何响应;添加带提示的LLM作为策略的"裁判";以及用于检查工具调用、工具选择、输入准确性、输出用法和响应的逻辑。

由于这些策略可以写成单个文件,它们可以与代理捆绑,从而让安全策略随代理穿越不同框架和环境。

ACS将以SDK形式发布,包含对LangChain、OpenAI Agents SDK、Anthropic Agents SDK、AutoGen、CrewAI、Semantic Kernel、Microsoft.Extensions.AI、MCP工具等的插件。

阅读原文
📚 相关主题 开源工程

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部