AI Pulse
📡 X 信号

实测Kimi K3.1 Pro修105个植入bug:性价比不如DeepSeek V4.1 Flash

实测Kimi K3.1 Pro修105个植入bug:性价比不如DeepSeek V4.1 Flash

我在真实工作中测试了 Kimi K3.1 Pro。2 个代码仓库,105 个重新植入的 bug。能找多少找多少,能修多少修多少。

结果如下:
DeepSeek V4.1 Flash 1017(max):42.7
Muse Wonder Full 1.0(max):42
Opus 5.5(max):41.7
Kimi K3.1 Pro(max):36
Muse Spark 1.3(max):32.2

我很抱歉。考虑到成本,我看不出有什么理由要用这个模型。

在上面的基准测试中,我跳过了这次奇怪的运行:

为什么用 Claude Code 测试框架?K3.1 Pro 的发布帖是在 Claude Code 中评估其编码基准的。之前在我的测试中,对于 Kimi K3,Moonshot 的 CLI 成本约为 Claude Code 的 2.9 倍。更多模型、常见问题解答和实时数据:

Kimi K3.1 Pro max:36, 42, 30
Opus 5.5:
- max:43, 39, 43
- xhigh:35, 37, 36
- high:32, 32, 31
- medium:30, 30, 31
- low:23, 25, 19
Sonnet 5.5:
- max:57, 54, 43(不是写错了,它比 Astra 多执行了 7 倍的轮次,是最顽固的组合)
- xhigh:39, 34, 35
- high:32, 34, 37
- medium:18, 28, 24
- low:20, 17, 20

不行。我没法给未植入的 bug 打分。有些模型,尤其是 OpenAI 的,会通过报告不相关的、真实的“问题”来刷分。其中 99% 都是低优先级。解决其中一些问题实际上会损害产品。我将重新植入的 bug 视为我过去实际处理过的重要问题的代表性分布。所有这些问题在 2026 年初都被前沿模型遗漏了。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新