8090 Labs实测发现 现有大模型评测毫无意义

模型基准测试毫无价值

同一个模型在相同的113个编码任务上，怎么会分别拿到24%和59%的分数？只要你改变套在模型外面的测试框架，这种事就会发生。

我现在越来越无视最近绝大多数模型排行榜结果。一部分是因为看得太累，另一部分是因为排行榜排名的提升，在实际工作里根本体现不出来。

所以我让8090 Labs团队去测量排行榜漏掉的东西：模型和框架组合在一起，在开源项目真实的bug修复和功能开发任务上的表现。

8090 Labs让7个模型分别在5个框架里跑了测试。以下是几个我没想到的结果：

- Anthropic的Claude Fable 5.1在Claude Code框架里得分41%，在OpenAI的Codex框架里得分61%。它在其中一个框架里中位数工具调用次数是28次，在另一个里是66次。

- 最便宜的运行成本不代表最便宜的成功成本。GLM在Codex里单次运行成本0.22美元，每次成功成本0.93美元。在Pi框架里单次运行成本0.25美元，每次成功成本0.43美元。

- GLM在同一个框架里两次尝试都通过的任务有51次，在另一个框架里只有16次。

- GPT-5.6 Sol和Grok 4.6几乎不受框架影响。

结论就是：如果你只看纯模型排行榜，就挑选模型和框架的组合，那你是只靠一半信息就做出了关键决策。