实测Kimi K3.1 Pro修105个植入bug:性价比不如DeepSeek V4.1 Flash
我在真实工作中测试了 Kimi K3.1 Pro。2 个代码仓库,105 个重新植入的 bug。能找多少找多少,能修多少修多少。
结果如下:
DeepSeek V4.1 Flash 1017(max):42.7
Muse Wonder Full 1.0(max):42
Opus 5.5(max):41.7
Kimi K3.1 Pro(max):36
Muse Spark 1.3(max):32.2
我很抱歉。考虑到成本,我看不出有什么理由要用这个模型。
在上面的基准测试中,我跳过了这次奇怪的运行:
为什么用 Claude Code 测试框架?K3.1 Pro 的发布帖是在 Claude Code 中评估其编码基准的。之前在我的测试中,对于 Kimi K3,Moonshot 的 CLI 成本约为 Claude Code 的 2.9 倍。更多模型、常见问题解答和实时数据:
Kimi K3.1 Pro max:36, 42, 30
Opus 5.5:
- max:43, 39, 43
- xhigh:35, 37, 36
- high:32, 32, 31
- medium:30, 30, 31
- low:23, 25, 19
Sonnet 5.5:
- max:57, 54, 43(不是写错了,它比 Astra 多执行了 7 倍的轮次,是最顽固的组合)
- xhigh:39, 34, 35
- high:32, 34, 37
- medium:18, 28, 24
- low:20, 17, 20
不行。我没法给未植入的 bug 打分。有些模型,尤其是 OpenAI 的,会通过报告不相关的、真实的“问题”来刷分。其中 99% 都是低优先级。解决其中一些问题实际上会损害产品。我将重新植入的 bug 视为我过去实际处理过的重要问题的代表性分布。所有这些问题在 2026 年初都被前沿模型遗漏了。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖