AI Pulse
📡 X 信号

Kimi K3.1 Pro 拿下公开模型网络防御第一,仅输给受限版 GPT-6 Sol

Kimi K3.1 Pro 拿下公开模型网络防御第一,仅输给受限版 GPT-6 Sol

Kimi K3.1 Pro 是当前智能体网络防御领域排名第一的公开可用模型,在 Artificial Analysis 网络防御指数上,仅次于仅面向受信任访问的模型 GPT-6 Sol(Daybreak Blue)。

@Kimi_Moonshot 的 Kimi K3.1 Pro 在 Artificial Analysis 网络防御指数上得分 64%,领先此前排名第一的公开可用模型 DeepSeek V4.1 Flash 1017(57%)7 个百分点,落后 GPT-6 Sol(Daybreak Blue,max,69%)5 个百分点,后者仅通过 OpenAI 的受信任访问计划开放。一旦 K3.1 Pro 的权重发布,它也将成为网络防御领域领先的开放权重模型。

Artificial Analysis 网络防御指数衡量模型在智能体网络防御任务上的能力,由三个基准测试组成:CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA。该指数主要通过模型的公开可访问 API 进行评估,反映开发者可获取的网络能力。

OpenAI、Anthropic 和 Google 的专有模型可能拥有更强的网络能力,但会因安全拒答而失分:通过 OpenAI 受信任访问计划提供的 GPT-6 Sol(Daybreak Blue,max)得分比其公开版本高出 32 个百分点。Kimi K3.1 Pro 未出现任何安全拒答情况。

主要结果:
➤ 公开可用模型排名第一,总榜排名第二:Kimi K3.1 Pro 得分 64%,较 Kimi K3(41%)提升 23 个百分点,领先 DeepSeek V4.1 Flash 1017(57%)。仅受信任访问的 GPT-6 Sol(Daybreak Blue,max,69%)得分更高。

➤ 所有模型中 CyberGym-E2E-AA 得分最高:K3.1 Pro 在 CyberGym-E2E-AA 上得分 95%,领先 GPT-6 Sol(Daybreak Blue,93%)以及下一个公开可用模型 Mistral Large 4(82%)。在 DeepsecBench-AA 上,K3.1 Pro 得分 37%,落后于 GPT-6 Sol(Daybreak Blue,48%)和 GPT-6 Sol(46%)。在 CWE-Bench-AA 上得分 61%,落后 GPT-6 Sol(Daybreak Blue,65%)4 个百分点,DeepSeek V4.1 Flash 1017 以 69% 领先。

➤ 尽管 token 价格更低,单任务成本仍上升 15%:K3.1 Pro 的单任务成本为 2.81 美元,高于 GPT-6 Sol(Daybreak Blue,max,1.77 美元)和 DeepSeek V4.1 Flash 1017(0.42 美元)。Kimi K3.1 Pro 每 token 价格比 Kimi K3 便宜 33%(每百万输入/输出 token 为 2/10 美元,而 Kimi K3 为 3/15 美元),但输入 token 用量约为 2 倍,导致单任务成本上升 15%(2.81 美元对比 2.45 美元)。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新