实测100个场景后,Fable 5.2被判定无使用价值
我们用 Fable 5.2 跑了 100 个不饱和的编码与工程环境,涵盖空间推理、规划、游戏、电路设计等领域。和所有 Fable 版本一样,这次基准测试的成本极高。
不过,最大的赢家是 OpenAI。Astra、GPT 6.1-Sol,甚至 GPT 6.1-Terra,在金融市场、工程设计和不饱和编码问题等具有挑战性的开放式技术问题上,都给出了更优的解决方案。
我们很清楚为什么大部分数学突破都来自 OpenAI。值得一提的是,Anthropic 正全力训练一个优秀的编码助手(他们在这方面确实成功了),而不是发布最智能的模型。
关于 Fable 5.2,我们注意到一些问题:
• 在智能体编码运行中,它会提前停下来请求人类帮助或澄清,比如“我希望你在我进一步调整之前先决定这些”(没有可交互的人,从提示词中也看不出有这个预期——我们从未见过其他模型这样做)
• 它在我们的测试框架(不是 Claude Code)中出现混乱,花时间试图理解过去的工具调用。我们在其他 OpenAI 或 Anthropic 模型上没有见过这种行为,这影响了它的智能体编码得分。
• 有时会耗尽所有推理预算并超出 token 限制
• 出现了几次内容过滤失败(不影响其得分)
根据我们的测试,无论预算如何,都没有理由使用 Fable 5.2。编码用 Opus 5.5,代码审查以及工程、数学和科学领域具有挑战性的不饱和问题用 Astra 或 Sol。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖