Kimi K3发布，鹈鹕基准仍能教我们什么

Kimi K3, and what we can still learn from the pelican benchmark

2026年7月16日

中国AI实验室Moonshot AI今天上午发布了Kimi K3，称其为“迄今为止最强大的模型，拥有2.8万亿参数”。目前可通过网站和API使用，但承诺“在2026年7月27日之前”开放权重。

Moonshot称这是首个“开源3T级模型”（我猜他们把2.8万亿四舍五入到了3万亿），从DeepSeek的1.6T v4 Pro手中夺走了这一称号。他们自我报告的基准测试显示，K3在大多数情况下击败了Claude Opus 4.8 max和GPT-5.5 high，但输给了Claude Fable 5和GPT-5.6 Sol。

以下是Artificial Analysis关于该模型的报告中的一些亮点：

“在我们的私有长周期知识工作评估中，Kimi K3的总Elo得分为1547，比Kimi K2.6提高了732分，仅次于Claude Fable 5。”
“每任务成本（0.94美元）与GPT-5.6 Sol（1.04美元）相近，约为Opus 4.8（1.80美元）价格的一半，高于开源权重同行。”
“在Artificial Analysis Intelligence Index上，Kimi K3的令牌使用量显著下降，输出令牌比K2.6减少了21%。”

该模型现在也是Arena.ai前端代码竞技场上的领先模型，甚至超越了Claude Fable 5。

新模型的定价引人注目：输入令牌每百万个3美元，输出令牌每百万个15美元，与Anthropic的Claude Sonnet系列持平，使其成为中国AI实验室迄今为止发布的最昂贵的模型。相比其早期模型如Kimi K2.6（0.95美元/4美元），这是大幅上涨。2.8万亿参数也是那个1T模型的两倍多。

但它的鹈鹕表现如何？

我使用OpenRouter（以避免注册Moonshot API密钥）和llm-openrouter插件生成了一只鹈鹕骑自行车的SVG：

`
llm -m openrouter/moonshotai/kimi-k3 '生成一个鹈鹕骑自行车的SVG'
`

这是记录。看起来像这样：

[图片]

那只鹈鹕耗费了95个输入令牌和16,658个输出令牌（其中13,241个是推理令牌），总成本25美分！

由于K3接受图像输入，我针对上面渲染的SVG运行了它（附上我的alt文本提示），得到了以下结果（成本0.6美分）：

> 一只戴着红色围巾的白色鹈鹕的卡通插画，沿着一条有白色虚线的灰色道路骑一辆红色自行车；鹈鹕有大橙色喙和橙色网状脚蹬踏板，后面有白色运动线；背景显示浅蓝色天空上有白云、黄色太阳、两只小型黑色飞鸟，前景有绿色草地和白色小花的插画

我们能从鹈鹕中学到什么？

我的“生成一只鹈鹕骑自行车的SVG”测试已经有21个月了。它从来都不是一个特别好的基准测试。起初它只是一个玩笑，用来对比这些模型有多荒谬困难，但在第一年里，它竟然与模型的实际表现有惊人的相关性。

现在这种联系基本断开了。GPT-5.6和Claude Fable 5的鹈鹕被GLM-5.2超越，尽管我非常喜欢GLM，但我不认为那是Fable级别的模型。

（我仍然不相信实验室在针对这个基准进行训练——如果他们在训练，我会期望更好的结果。不过，Gemini有可能针对动物在交通工具上的任何组合进行了优化！）

鹈鹕测试最大的局限性在于，它完全没有触及当今模型最重要的方面：智能体工具调用以及在对话长度增加时可靠操作工具的能力。

所以，不要用鹈鹕来比较模型！

话虽如此，我自己运行这个基准测试仍然获得了不少价值。

首先，它是一个强制让我实际尝试模型的驱动力。如果我给你看一只鹈鹕，那就意味着我已经成功向模型发送了提示。如果模型有官方API，我会使用它；如果是开放权重（并且小到可以装进128GB M5 MacBook Pro），我会尝试在自己的机器上运行，通常使用llama.cpp或LM Studio或Ollama。我经常使用OpenRouter，因为它通常提供官方API的代理，而无需新API密钥。

我的大多数鹈鹕都是使用我的LLM CLI工具生成的，这有助于确保最新模型通过其插件得到支持。

更重要的是，即使是单次提示“生成一个鹈鹕骑自行车的SVG”也能揭示有趣的模型特性。

以今天Kimi K3的结果为例。运行这些简单提示有助于强调该模型的几个特点。

- 它目前只有一个推理努力级别“max”——这一点很明显。该模型消耗了13,241个推理令牌来输出3,417个响应令牌。这很昂贵——那只鹈鹕花了25美分！
- 提示“生成一个鹈鹕骑自行车的SVG”如何累计到95个输入令牌？OpenAI的分词器计数为10，Anthropic的计数为10（Opus 4.6）、30（Opus 4.7）和25（Sonnet 5/Fable 5）。向Kimi K3提示“hi”计数为86个令牌，表明可能有一个85令牌的隐藏系统提示。不过它拒绝泄漏。
- 视觉功能很好：它生成的alt文本非常棒。

K3目前只有一个思考努力级别，但我最近通过在不同努力级别下运行相同的鹈鹕提示，快速了解这些级别的影响，获得了不少价值。例如，这是我的GPT-5.6模型家族的矩阵。

不过，我从鹈鹕测试中获得的主要收获是：

- 它是对模型进行提示的“hello world”练习
- 粗略的任务成本和推理估算
- 确认模型能够输出有效的SVG，并对几何和空间意识有基本理解。这对于在笔记本电脑上运行的较小模型来说更重要。
- 比较同一模型家族不同版本间的鹈鹕仍然很有趣。K3的鹈鹕比Kimi 2.5有显著改进。
- 这是一个我可以分享的东西，证明我尝试过了。另外，在Hacker News上评论中放一只鹈鹕现在已经成为一种传统，每当我晚了，就会有人问它在哪里！