AI Pulse
📡 X 信号

Artificial Analysis 发布 Coding Agent Index v2.1,Claude Fable 5.2 与 Claude Opus 5.5 并列第一

Artificial Analysis 发布 Coding Agent Index v2.1,Claude Fable 5.2 与 Claude Opus 5.5 并列第一

我们发布 Artificial Analysis 编程智能体指数 v2.1,对 FrontierCode 和 Terminal-Bench 进行升级。Claude Fable 5.2 与 Claude Opus 5.5 以 58 分并列第一。

编程智能体指数是在智能体运行环境中对模型进行评测;本次 v2.1 版本将 FrontierCode 从 1.1 升级至 2.0,将 Terminal-Bench 从 4.0 升级至 4.1。

升级内容:
➤ FrontierCode-AA 2.0(替代 FrontierCode v1.1):我们对 Cognition 的 FrontierCode 2.0 的实现,包含 132 个真实编程任务,以仓库维护者是否会合并智能体的改动为评分依据。
➤ Terminal-Bench 4.1(替代 Terminal-Bench 4.0):沿用相同的 66 个任务,使用更新后的验证器评分,提升可靠性并增强对奖励作弊的抵御能力。

保留在指数中的:SWE-Atlas-QnA-AA

主要结果:
➤ Claude Fable 5.2 与 Claude Opus 5.5 以 58 分并列第一:Claude Fable 5.2 在 Claude Code 的 xhigh 和 high 档位下均得 58 分。Claude Opus 5.5(max)在 Claude Code 中得 58 分,在 Cognition 的多模型运行环境 Devin Fusion CLI 中与 GPT-6 Luna High 搭配也得 58 分。Claude Fable 5.2(max)得 56 分,因为其更多尝试触发了任务时间限制。Claude Sonnet 5.5(max,56 分)在 Claude Code 中、Gemini 4 Carbon(high,55 分)在 Antigravity CLI 中紧随其后。

➤ v2.1 版本的指数分数整体下降,主要由 FrontierCode-AA 2.0 的升级驱动:模型平均得分下降 5 分。Codex 搭配 GPT-6.1 Terra(max)是唯一在版本间没有下降的配置,与之前的分数相差在 1 分以内。

➤ 在得分 48 分以上的配置中,单任务成本相差约 30 倍:从 Codex 搭配 GPT-6.1 Sol(max,52 分)的 1.51 美元,到 Claude Code 搭配 Claude Fable 5.2(max,56 分)的 44.22 美元。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新