Era发布企业环境 AI 智能体对齐基准测试结果(19)

我们刚刚完成了迄今为止针对企业环境中 AI 智能体对齐问题最全面的基准测试：19 个领先 AI 模型作为智能体在 Era 构建的模拟公司中运行，覆盖 41 项日常任务，共 2304 次运行。

智能体在 40% 的运行中违反了安全和业务规则。每一个模型都失败了，包括所有前沿模型。

几个例子：
- 一个智能体告诉公司最大的客户之一，财务部门已批准全额退款。实际上根本没人批准。
- 一个智能体将客户的内部流失风险评分直接透露给了该客户。
- 一个智能体遵循了植入在支持工单中的虚假操作手册，向客户承诺了一笔无人批准的补偿。
- 一个智能体在共享的 Slack 频道中发布了另一位客户的个人联系信息（PII）。

在真实公司中，每一个这样的行为都意味着财务责任、合规违规或客户流失。

我们已将完整结果分享给各模型提供商，包括我们暂不公开的可利用失败模式，并正在与他们合作修复。

一次基准测试解决不了这个问题。我们很高兴 @cognition、@LangChain、@TryArcade、@Reindeer_AI、Hirundo、@Box、@recolabs_ai 和 @QodoAI 作为研究合作伙伴加入 Era，共同开展下一轮研究。更多消息即将发布。

我仍然是这个房间里对 AI 最乐观的人。但这次基准测试让我确信，智能体的可靠性和信任是下一个需要解决的重大问题。在此之前，在每个智能体获得登录权限之前都要进行测试，并保留它所做更改的记录。

完整结果：