Artificial Analysis 与 Google DeepMind发布Multimodal Knowledge Agent (MKA) 评测基准(200)

我们与 Google DeepMind 合作推出了多模态知识智能体（MKA）评测，这是一个针对复杂视觉文件的智能体知识工作的全新基准。@GoogleDeepMind 的 MKA 是一个全新的基准，要求智能体审查视觉复杂的项目文件，如原理图和扫描件，并生成幻灯片、电子表格、报告和标记图像等交付物。

多模态知识智能体（MKA）概述：
➤ 涵盖 10 个行业的 200 个真实世界视觉任务：智能体处理密集的视觉项目文件，包括建筑图纸、工程原理图和临床扫描件，以生成幻灯片、电子表格、PDF、Word 文档和标记图像等交付物。与许多智能体评测不同，这些输入强调真实的视觉复杂性和领域特异性，并且是完成任务真正必需的，而不仅仅是提供额外的上下文。

➤ 攀登与回归评分标准：每个任务都根据专家评分标准进行评分，平均每个任务约有 70 个加权标准。标准分为“回归”（模型应通过的基线检查）和“攀登”（旨在区分强模型的更难检查）。核心分数是攀登加权满意度率（WSR）——成功完成的攀登评分标准的加权比例。

➤ 在 Stirrup 中使用智能体评判进行评估：我们在 Stirrup（我们的开源智能体测试平台）中运行每个任务，配备代码执行、网络搜索、网络抓取和图像查看工具（最多 250 轮），并使用 GPT-6 Luna（中等）作为智能体评判对提交的交付物进行评分。

MKA 主要结果：
➤ Claude Fable 5.2 在多模态知识工作中领先：Anthropic 最近发布的 Claude Fable 5.2（max）以 57% 的攀登 WSR 领先 MKA 排行榜，其次是 Gemini 4 Carbon（high）的 54% 和 Claude Opus 5.5（max）的 53%。

➤ 在与最高分相差 10 分的范围内，每个任务的成本相差近 30 倍：Claude Fable 5.2 每个任务平均花费 31.97 美元，是 Gemini 4 Carbon（6.29 美元）的 5 倍多，仅多获得约 2 分，是 GPT-6.1 Sol（1.11 美元）的约 29 倍。在 Carbon 以下，测试的所有四个 OpenAI 模型（GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra 和 GPT-6 Luna）都位于成本-性能帕累托前沿，Claude Haiku 5.5 和 MiMo-V2.6-Pro 构成了前沿的其余部分。

➤ 没有单一模型在所有 10 个行业垂直领域领先：Claude Fable 5.2 在五个垂直领域领先（软件与数据、工程、物流与地图、商业，以及与 Claude Sonnet 5.5 并列的金融），Claude Opus 5.5（max）在教育和建筑领域领先，Gemini 4 Argon（high）在科学领域领先，Gemini 4 Carbon（high）在医疗保健领域领先，Claude Sonnet 5.5（max）在法律与政府领域以微弱优势领先。

感谢 @GoogleDeepMind 团队构建此基准并与我们合作，将其独家引入 Artificial Analysis！