Artificial Analysis 发布 Coding Agent Index v2.0，Claude Opus 5.5 登顶

宣布 Artificial Analysis 编程智能体指数 v2.0：Cognition 的 FrontierCode v1.1 取代 DeepSWE，SWE-Atlas-QnA 评分规则修订，Claude Code 中的 Claude Opus 5.5 以 61.7 分领跑。

今天我们推出编程智能体指数 v2.0。该指数将模型与其智能体运行环境结合评估，目前涵盖 290 项任务，涉及软件工程、终端使用和代码库问答，三个基准测试权重相等。

更新日志（指数 v1.5 → 指数 v2.0）：

→ FrontierCode v1.1 取代 DeepSWE v1.1。FrontierCode 是 @cognition 推出的基准测试，采用私有测试集：在真实开源代码库上设置 100 项软件工程任务，以维护者是否会合并该变更作为评分标准。未通过阻断性检查的尝试得分为零，通过所有阻断性检查的尝试根据其满足的非阻断性检查情况，得分在 70% 至 100% 之间。我们还使用修改后的 Cognition 规则扫描器对每条执行轨迹进行扫描，任何被标记为访问解决方案材料的尝试均得零分。

→ 修订后的 SWE-Atlas-QnA 评分，现更名为 SWE-Atlas-QnA-AA。Scale AI 的 124 项代码库问答任务保持不变。我们对 1306 条评分标准中的 127 条进行了措辞调整，以实现更一致的判定结果，并改用 GPT-6 Luna (xhigh) 作为评判模型，每条标准进行五次投票。数据集和评判配置已发布在 Hugging Face 上。

主要结果：

➤ Claude Opus 5.5 领跑指数：搭载 Claude Opus 5.5 (max) 的 Claude Code 得分 61.7，其次是搭载 Claude Sonnet 5.5 (max) 的 Claude Code（59.3 分）、搭载 Muse Wonder Full (max) 的 Muse Code（58.9 分）以及搭载 Claude Fable 5.1（max，带回退）的 Claude Code（57.6 分）。

➤ FrontierCode v1.1 是 Opus 5.5 拉开差距的领域：Opus 5.5 在 FrontierCode 上得分 56.0%，领先于搭载 DeepSeek V4.1 Flash (max) 的 Codex（52.6%）、搭载 GPT-6.1 Sol (max) 的 Codex（49.4%）以及搭载 GPT-6 Astra (max) 的 Codex（49.3%）。在排名靠后的配置中，FrontierCode 得分分布较为集中：指数中的 24 个配置有 15 个得分在 43% 至 49% 之间。

➤ SWE-Atlas-QnA-AA 评分更严格且更一致：在两个版本指数中均评估的 21 个配置中，平均得分下降 1.7 分，从 58.8% 降至 57.1%，其中 21 个配置中有 14 个得分下降。个别配置得分变动幅度达 7 分：搭载 Muse Spark Open (xhigh) 的 Muse Code 下降 7.0 分，Kimi Code CLI 中的 Kimi K3 和搭载 GPT-6 Luna (max) 的 Codex 下降 6.2 分，搭载 Muse Wonder (max) 的 Muse Code 下降 5.6 分，而搭载 GPT-6.1 Sol (max) 的 Codex 上升 2.1 分。

➤ 四个配置位于成本前沿：搭载 DeepSeek V4.1 Flash (max) 的 Codex 得分 47.3，每项任务成本 0.39 美元；搭载 GPT-6.1 Sol (max) 的 Codex 得分 54.1，成本 1.50 美元；搭载 GPT-6 Astra (max) 的 Codex 得分 54.7，成本 7.04 美元；搭载 Claude Opus 5.5 (max) 的 Claude Code 得分 61.7，成本 11.42 美元。成本为按 token 计费的 API 成本，非订阅价格。

我们将持续逐步更新编程智能体指数，未来会有更多评估和智能体加入。