Agent Initiative Benchmark：12款前沿模型主动干活实测

主动型智能体该选哪个模型？今天我们发布 Agent Initiative Benchmark。

我们在一家拥有 6 年详尽历史的合成公司中，对 12 个前沿模型进行了真实职场任务测试。这家公司拥有财务模型、CRM 记录、逾期发票、Linear 工单，以及影响公司发展的真实事件——竞品产品发布、硅谷银行（SVB）倒闭等。

我们利用该公司的 Slack，测试了一个主动型智能体在旁听每一场对话时，如何协助团队完成日常任务：从介入协调跨团队项目，到提醒团队不要使用未经批准的客户 logo。

重点发现：
- 来自 @OpenAIDevs 的 6.1 Sol 和 Astra 击败了 Anthropic 最新的 Fable 5.2，其中 Sol 在性能和成本上都表现出色（每个任务 0.11 美元，而 Fable 5.2 为 1.87 美元）。
- 最贵的模型不一定是最好的：Fable 5.1 的成本是 GPT-6 Luna 的 430 倍，但性能相近。
- 大多数模型即使在不需要时也会试图提供帮助。有趣的是，在这些失败案例中，它们会花更多时间思考，而这些不必要的工作所耗费的时间和金钱，比它们保持沉默时高出约 80%。

如果你正在构建智能体，请继续阅读，了解更多关于哪种模型最适合你的用例的建议。

详细分析、开源数据集和基准测试代码如下：