AI Pulse

四个榜单四种排法:写代码Fable领先,法律税务归Gemini

综合指数自己先对不上

对比的是 Claude Fable 5.2、GPT-6.2 Astra、Kimi K3.1 Pro、Gemini 4 Carbon。33项基准测试每一项都给出四个模型的分数,各基准按来源发布的评估设置跑分,AA 指 Artificial Analysis。

先看四个综合指数。AA Intelligence Index v5.0.1 上,Fable 64.6 最高。Astra 62.1,Gemini 60.0,Kimi 46.5。Vals Index 上,Fable 71.31% 第一。Gemini 70.45%,Astra 67.66%,Kimi 62.52%。Epoch Capabilities Index 上,Astra 174.2 最高。Fable 173.5,Gemini 169.8,Kimi 161.4。LiveBench 2.0 上,Fable 和 Astra 并列 84.9。Gemini 83.5,Kimi 68.7。

四张榜单,四种排法。想从里面挑一个“综合最强”,选不出来。

代码和表格:Fable 5.2 的地盘

FrontierCode 2.0(Cognition)上,Fable 50.2%,Astra 44.2%,Gemini 42.6%,Kimi 19.9%。SWE Atlas v1.1 上,Fable 80.5%,Gemini 71.5%,Kimi 61.1%,Astra 60.5%。Vibe Code Bench v1.1 上,Fable 93.8%,Astra 89.9%,Gemini 89.1%,Kimi 84.9%。Code Migration v1.1 上,Fable 85.8%,Astra 83.6%,Gemini 80.1%,Kimi 59.7%。WebDev Arena 的 Elo:Fable 1,824,Astra 1,781,Gemini 1,769,Kimi 1,684。

这一组里 Fable 全胜,差距有大有小。Code Migration 上它领先 Kimi 二十多个百分点,Vibe Code Bench 上只领先第二名不到四个点。

表格类也是它。Excel Modeling Benchmark v1.1 上,Fable 77.4%,Gemini 76.5%,Astra 76.0%,Kimi 70.0%。办公文档的 AA-Briefcase v1.1 Elo:Fable 1,785,Kimi 1,674,Astra 1,644,Gemini 1,611。

法律、税务、金融、视觉:Gemini 4 Carbon 领先

同样是处理文件,换到法律和税务,排名就翻过来。

Vals Legal Index 上,Gemini 75.93%,Astra 69.68%,Fable 69.17%,Kimi 67.04%。Legal Research 上,Gemini 55.8%,Fable 46.2%,Astra 42.8%,Kimi 37.5%。Tax Agent 上,Gemini 51.8%,Fable 32.1%,Kimi 24.9%,Astra 21.8%。税务这一项,写代码最强的 Fable 只拿到第一名六成左右的分数,Astra 更低。

金融两个基准方向不一致。Vals Finance Index 上,Gemini 67.05%,Fable 63.58%,Astra 57.31%,Kimi 56.01%。Finance Agent v2.1 反过来,Fable 69.5% 第一,Gemini 67.2%,Kimi 61.5%,Astra 60.7%。同一个行业,用不一样的任务测,领先者就换人。

自动化和视觉理解上 Gemini 领先。APEX-Agents v1.1 上,Gemini 84.2%,Fable 80.1%,Astra 72.2%,Kimi 65.5%。AutomationBench-AA 上,Gemini 77.8%,Astra 77.2%,Fable 76.4%,Kimi 73.3%。Humanity“s Sixth Sense 上,Gemini 71.10%,Astra 63.22%,Fable 59.50%,Kimi 33.20%。

Astra 和 Kimi 各自也有第一

Astra 的长处在需要多步执行的代理任务和科学推理。Agents” Last Exam v1.1 上,Astra 78.3%,Gemini 77.4%,Kimi 74.4%,Fable 72.8%——这一项 Fable 垫底。Mystery Game Puzzles 上,Astra 95%,Fable 90%,Gemini 73%,Kimi 42%。Terminal-Bench Science 0.1 上,Astra 78.1%,Fable 73.3%,Gemini 64.8%,Kimi 34.3%。GPQA Diamond 上,Astra 96.8%,Gemini 96.5%,Fable 96.0%,Kimi 94.2%,四个模型的差距只有 2.6 个百分点,这项基本区分不出高低。

Kimi 综合指数最低,但不是全线落后。GDP.pdf 上它排第一,31.4%,Astra 29.8%,Gemini 28.4%,Fable 24.2%——Fable 在这一项是最后一名。OTIS Mock AIME 上,Astra、Kimi、Gemini 都是 100%,Fable 99.7%。数学竞赛题这类能力已经压到天花板,用它来挑模型没有多少信息量。

其余几项也偏 Fable:HLE-Diamond 80.2%(Kimi 37.3%),SimpleQA Verified 94.0%(Kimi 62.2%),AA-Omniscience v1.1 66.8(Kimi 29.9),Chess Puzzles 79.0%,Coarena Computer Use Elo 1,104。

换个人来测,排名会翻

Terminal-Bench 提供了一个直接例子。4.1 官方运行:Fable 65.8%,Gemini 64.5%,Astra 62.1%,Kimi 59.7%。同一个能力的 4.0 版本由 AA 跑:Kimi 67.2% 第一,Gemini 65.2%,Astra 64.1%,Fable 59.6% 掉到最后。终端操作这项能力,谁在测、按什么流程测,结论就换一个方向。

Harvey Legal Agent Benchmark 上,四个模型得分都低:Gemini 17.5%,Astra 16.3%,Kimi 11.7%,Fable 5.0%。

Kimi 在综合指数上垫底,却在 GDP.pdf 上排第一;这组数据分不出是能力差距还是测试适配问题。

关键事实

阅读原文
📚 相关主题 大模型基准测试

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新