LisanBench 大模型横评：Muse Wonder 登顶，GPT 系列表现拉胯

广告 - Meta 提供了 Muse Wonder 模型的免费访问权限。测试和结论均为我个人观点。

这是 LisanBench 的一次重大更新：
- 我终于下定决心测试了多个推理级别。现在我们有了一些非常棒的数据。
- Muse Wonder Full 和 Muse Wonder 在 LisanBench 上表现极为出色，具有惊人的扩展性，且不同推理强度之间的间隔非常均匀。仅从分数来看，两款 Muse 模型在最高推理强度下分别位列第一和第二。不过，它们的效率仍略低于 Anthropic 的 Opus 5.5。
- DeepSeek-V4.1-Flash 1017 同样令人印象深刻，与 Haiku 5.5 一同处于性能-成本前沿。
- 值得注意的是，Gemini 4 Argon 的低强度和中强度模式，以及 Sonnet 5.5 的低强度和中强度模式不会产生推理 token，能即时响应，但得分仍然很高。Gemini 4 Argon 低强度模式在非思考排行榜上位居第一（它是个“作弊循环器”）。
- 有趣的是，GPT-6.1-Sol 和 GPT-6 模型表现不佳，因为它们不擅长遵循“编辑距离为一”的规则。Argon 高强度模式也表现出类似行为。对于 GPT 系列模型，我认为原因可能与它们非常简洁的推理风格有关。但由于我还没看过 Gemini 4 Argon 的原始推理过程，我对这个理论不是很有信心。另一种解释可能与“作弊循环器”有关。
- 在不使用“编辑距离为一”规则对模型评分时（其他所有规则仍然生效），排名完全改变：
1. GPT 6 Astra medium：56,140（+659%）
2. Gemini 4 Argon high：51,312（+579%）
3. GPT 6.1 Sol medium：49,887（+731%）
- 在作弊方面最严重的是 Gemini 4 Argon 和 DeepSeek V4.1 Flash 1017。Gemini 利用非 ASCII 字符暴露了评分器中一个全新的 bug，而 DeepSeek 则有多个长达 64 个连续双字母单词的长链。当我刻意对 LisanBench 进行 RL 爬山优化时，也看到了相同的单词长度坍缩行为。Anthropic 的模型似乎也针对这个游戏进行了优化，但方式不那么明显。它们会在多个不同的起始单词中重复使用相同的长链。
- 达到 2000、5000 和 10000 LisanBench 分数的最低成本每月下降了 22-25%，即每 2.4-2.8 个月减半。