Claude Fable 5.1 鹈鹕基准:最低两档完全跳过推理,Max档一只 3.3 美元
2026年9月1日
今天是 Claude Fable(和 Mythos)5.1 发布日。Anthropic 表示 Fable 5.1 “为编程、知识工作和长期问题求解任务树立了新标准”。他们的公告花了相当多的时间在科学研究上,宣称在全新的 Terminal-Bench-Science 0.1 基准(8月27日首次发布)上取得了 52.6% 的分数,高于 Fable 5 的 24.7%、Opus 5 的 29.0% 和 GPT-5.6 Sol 的 22.4%。其他基准的分数略有提升,但没有一个像科学基准那样令人印象深刻。
但它的鹈鹕水平如何?
今年七月,我曾写到我对鹈鹕基准正在失去信心——它与模型在其他任务上表现的相关性,似乎不再像 2025 年时那样强了。我现在从中得到的最有趣见解,是模型家族内部的比较,特别是同一提示词在不同推理强度下的比较。
Fable 5.1 有五个推理等级:low、medium、high、xhigh、max——并且没有完全关闭推理的选项。
我修复了 llm-anthropic 中的一个问题,该问题导致推理轨迹未能被正确记录,然后跑了一些提示词。
以下是所有推理等级的完整鹈鹕集合,每只都附有完整的推理记录。我在这里复现它们:
Low 和 medium,都没有推理?
接下来是一个小小的谜团。这是我在 effort low 下得到的结果:
【SVG 图像】
记录中没有显示任何总结的推理 token,输出 token 数是 1,998。对于 Claude,输出 token 数包含推理 token。耗时 23.8 秒,花费 10.017 美分。
我把等级调高到 medium,得到了这个:
【SVG 图像】
奇怪的是,这一只也没有显示推理文本,并且使用了 1,977 个输出 token——比 low 少了 21 个 token。耗时 23 秒,花费 9.912 美分。
所以对于这个特定的提示词("Generate an SVG of a pelican riding a bicycle“),Fable 5.1 在 low 和 medium 两档似乎都完全跳过了推理。
High
下面是 high——29.6 秒,2,612 个输出 token,13.087 美分:
【SVG 图像】
这一档确实做了一点推理,摘要如下:
”我正在规划一只骑自行车的鹈鹕的 SVG 布局,包含天空和地面背景、一辆有两个辐条车轮的自行车,以及车架、车座和车把,还有一只白身、长颈、橙色喙的鹈鹕坐在上面。“
不过与 low 和 medium 相比,差别真的不大。
到了 xhigh,情况就截然不同了。36,767 个输出 token,7 分 51 秒,1.83 美元!
【SVG 图像】
推理轨迹相当长,包含这样的细节:
”添加眼睛、向下伸展到车把手的翅膀、伸向脚踏板的橙色腿,以及一根小尾羽,同时让鹈鹕相对于自行车刻意显得过大,以产生喜剧效果。[...]
我接受这轻微的粗壮感,把它当作可爱之处,而不是过度设计它。“
Max
将 effort 设为 max,我得到了 Anthropic 所有模型中最好的一只鹈鹕。65,927 个输出 token,13 分 54 秒,3.30 美元:
【SVG 图像】
这只鹈鹕有很多值得喜欢的地方。背景很有品味,腿清晰地分布在车架两侧,脚踩在脚踏板上,翅膀搭在车把上,鹈鹕戴着一顶可爱的蓝色帽子,还有一个装着鱼的车篮。
它仍然没有展现出 Gemini 3.7 Flash 那种级别的灵气,但我没有要求灵气——我要求的是 SVG,而这就是我得到的。
那条推理轨迹的一些亮点:
”在两脚附近添加脚踏板形状,远侧那只脚在第二条腿上,部分被车架遮挡。我在考虑是否要加一条小围巾或帽子来增加个性,但倾向于保持简洁,避免杂乱。"
“现在我在纠结是给头部戴自行车头盔,还是保留鹈鹕标志性的冠羽——喙和喉囊已经能清楚地读出”鹈鹕“的特征,所以头盔可以强化自行车主题而不会失去身份,尽管它可能会与冠羽争夺视觉空间。”
“我意识到 (484,84) 处的喙会与圆顶头盔重叠,所以我需要缩小头盔,让它只覆盖头顶,调整弧线端点使其位置更高、更窄,这样喙就能在前面干净地连接而不发生碰撞。[...]”
“我在添加一个较暗的尖端区域来表现初级飞羽,然后重新考虑后缘,加入扇贝形的羽毛曲线,而不是一条平滑的线条,以营造更自然的外观。[...]”
“现在我在检查头盔上通风孔线条的位置,确保在笔画宽度和圆头端点的情况下,它们距离头盔边缘足够远,并确认每个通风孔都保持在头盔的圆形边界内。[...]”
“我决定跳过车铃和轮胎高光,因为它们是不必要的添加。现在我在重新考虑前叉的曲线——当前的控制点把形状拉向后方,而它应该向前弓起以形成合适的前倾角,所以我需要将控制点向右移动,以修正前叉的倾斜。”
好,我们来让它动起来
在 Hacker News 上,swalsh 评论了那只 Max 鹈鹕:
“既然这已经是一个被解决的基准,能不能来个动画版?”
我不想再花 3 美元,所以我把 Max 鹈鹕输入到默认思考等级 High:
llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'
6,121 输入 token,26,201 输出 token = 1.37 美元。结果看起来像这样,这里导出为视频,因为有些人看动画 SVG 有困难:
【视频:动画鹈鹕】
视频中的轮子旋转方向是错误的,但我认为这是转换为 MP4 时的伪影——在原始 SVG 中它们似乎是正确的方向。