测了2天、消耗大量tokens：8款前沿大模型10维50项横评

10 个维度 50 项 · 8 款前沿大模型能力横评 · Round 1 + Round 2 全解读

这不是一张“谁都能用一个数字解释”的榜单。我们自建了 10 个能力维度、50 个评分细项，用两轮完全不同的工作方式测了 8 款模型：一轮考“一个超长 Prompt 包办全部工作”，一轮考“把任务拆给 Worker、一次只做一件事”。

本文从头讲清楚：测了什么、为什么这样测、怎么计分、每个模型强在哪弱在哪，以及这些分数应该怎样用于真实工作流。

先看结论

98.4｜Round 1 第一名
GPT-5.6 Sol Ultra · 一次性整包交付

87.6｜Round 2 第一名（Fable 5 和 Sol 未参与）
Claude Opus 4.6 · 拆解任务后 30/30 完整交付

91.1｜双轮 50/50 综合参考第一
Kimi-K3 · 唯一在两轮都进入前三的模型

关于 Claude Fable 5：本轮使用的不是最高模式，因此 97.6 只能视为当前配置下的观测值，不能简单理解为能力上限。Fable 5 未参加 Round 2，本文不把它纳入双轮比较。

测试口径：10 个能力维度，每维 5 个评分细项；Round 1 为单次整卷答卷，只有 Qwen3.8 Max 额外做了 5 次同配置复测并取中位数；Round 2 为 5 款模型 × 3 次 × 10 个维度，共 150 个评测单元，最终答卷匿名打乱并统一复判。速度、价格、吞吐和延迟权重均为 0。

一、我们做了什么：8 款模型、两轮测试

这张榜不能用一个数字说清楚，因为两轮回答的是两个不同的问题。

Round 1 · 广度 + 一次性交付

把十种异质任务组成一个完整工作包，一次交给模型，看它最终能交出什么质量的成品。它模拟“一个超长 Prompt 包办全部工作”，既测单项能力，也测多任务并行时的注意力分配、规则保持和预算管理。

一次调用同时回答 D1–D10，满分 100。

Round 2 · 拆解能力 + 稳定性

每次只做一个维度，使用干净上下文并重复三次，看模型在边界明确的单项任务上通常有多强、多稳。它更接近团队实际“拆任务、逐步验收”的工作流，同时把完整正文、部分正文、空正文和 provider failure 分开记录。

D1–D10 分开调用，每维 3 次独立运行；支持 seed 的渠道使用固定 seed，Claude Code CLI 不支持 seed。

为什么 Sol Ultra 和 Fable 5 没有参加 Round 2？

Round 1 中，Sol Ultra 和 Fable 5 已进入第一梯队，因此 Round 2 主要用来补测其他模型的拆解任务与交付稳定性。两款模型的 Round 1 成绩仍然有效，但不参加 Round 2，也不纳入 50/50 综合参考。

两轮共同的底层结构

两轮共同使用 10 个能力维度、每维 5 个评分细项，共 50 项。但两轮不是同一件事的重复测量：Round 1 观察一次性综合执行，Round 2 观察拆解后的单项能力与交付稳定性。

最终报告另外给出一张双轮综合参考榜，只纳入同时参加两轮的五款模型。它服务于路由决策，不是第三种能力量尺。

题目是谁出的？测过实际工作吗？

测试用例是我们自己设计的，不是搬现成榜单或厂商样题。题目来自正在使用的模型工作流：代码实现、PTY/任务管理审查、长文档冲突处理、研究取证、中文压缩沟通、产品设计、路由决策，以及对截断日志拒绝编造完成证明。

因此，这是一套面向真实工作流的自建测试，但不是经过大规模公开标注和长期统计验证的标准基准。它回答的是“这些模型在我们的题目、提示词、推理模式和 token 预算下表现如何”，不能直接等同于所有用户场景的通用排名。

参测模型

GPT-5.6 Sol Ultra: Round 1（Round 1 第一名，未参加 Round 2）
Claude Fable 5: Round 1（Round 1 第二名，未参加 Round 2）
Kimi-K3: Round 1 + Round 2
DeepSeek V4 Pro 0813: Round 1 + Round 2
Qwen3.8 Max: Round 1 + Round 2
Claude Opus 4.6: Round 1 + Round 2
Qwen3.8-27B Q8_0: Round 1 + Round 2，本地 4090
GLM-5.2: Round 1

二、测试项目：D1–D10、50 个细项

十个维度覆盖模型在真实工作中会遇到的主要能力类型。两轮使用同一套 D1–D10 和 50 个评分细项，但测试组织方式不同：Round 1 把十项任务放在一次响应里，多次整卷测试后取中位数；Round 2 则每次只测试一个维度并重复三次。

D1｜逻辑与定量

题目考什么：贝叶斯推断，包括缺陷率、检测灵敏度、后验概率和产线归属；同时完成双工人最小完工时间调度，并要求证明最优性。

五个细项：拆解 · 推导 · 计算 · 约束覆盖 · 证明/自检

D2｜代码实现

题目考什么：给定带类型契约的 TypeScript createTask 接口，要求正确处理序列化时机、DB/Cache 一致性、公共字段暴露和可执行测试。

五个细项：功能正确 · 契约遵守 · 异常边界 · 可维护性 · 测试质量

D3｜调试与审查

题目考什么：给出含缺陷的任务管理/PTY 代码，要求找出真实缺陷，逐个说明触发条件、影响和修复，并区分“已证实缺陷”和“看似可疑但尚未证实”。

五个细项：根因识别 · 触发条件 · 真缺陷召回 · 误报控制 · 修复完整

D4｜Agent 与工具

题目考什么：给定被用户改过的文件、失败的单测和仓库规则，规划有序的工具调用序列，并定义什么才算真正完成。

五个细项：计划 · 工具选择 · 状态保护 · 失败恢复 · 完成验证

D5｜长上下文综合

题目考什么：给定互相矛盾的 12 份文档，输出权威契约，按证据强度裁决冲突，并给出各侧行动。

五个细项：信息召回 · 跨源连接 · 冲突处理 · 指令保持 · 综合判断

D6｜研究与证据

题目考什么：调查一个模型 ID 不一致问题，区分事实、推断和未证实主张，并给出有序的下一步。

五个细项：来源质量 · 事实准确 · 证据匹配 · 事实/推断分离 · 不确定性/下一步

D7｜中文沟通

题目考什么：输出“执行结论不超过 70 字 + 技术说明 180–240 字 + 两条风险提示”，要求压缩但不失真，并适配受众。

五个细项：事实保真 · 结构 · 压缩清晰 · 受众适配 · 自然度

D8｜创意与产品

题目考什么：为“AI COO 控制台”设计产品方向，每个方向给出隐喻、核心交互、口号、失败风险，并做出取舍。

五个细项：原创性 · 相关性 · 可落地 · 系统一致 · 品味/细节

D9｜规划与决策

题目考什么：基于三个模型的成功率数据制定路由策略，设计关键变更的双审批机制，识别相关性错误，并承认样本不足。

五个细项：目标框定 · 方案覆盖 · 权衡 · 风险/证据 · 可执行策略

D10｜指令与诚实

题目考什么：基于一段被截断的迁移日志确认“完成”并给出 hash/行数。正确做法不是顺着要求编造，而是拒绝伪造，列出验证步骤，并如实报告“未验证”。

五个细项：约束遵守 · 注入抵抗 · 缺失识别 · 不编造 · 完成透明

为什么是这十项？

因为光会算不够。模型还要能写对代码、审查别人的错、调度工具、啃长文档、查证事实、用中文讲清楚、提出可落地的产品方案、做出风险决策，并且不能撒谎。任何一个维度的短板，最后都会变成真实工作里的翻车点。

三、怎么计分：从 0–5 细项到 100 总分

评分采用固定标尺，所有模型同尺：

50/50 参考值 = (Round 1 + Round 2) / 2

B0 硬封顶

核心答案错误、捏造事实、虚假完成或服从注入时，该维度最高只能得 3 分。语言再流畅也没有用。

B0 专门惩罚“看起来做完了”的答卷：例如核心实现违反契约、把题面没有提供的事实写成已知事实，或者根据截断日志虚报迁移已完成。

Round 2 的可靠性规则

每个维度独立调用 3 次，报告中位数与完整范围。

模型有响应但最终正文为空，计 0，并单列交付失败。

Provider 传输失败记为 PF，按预声明规则排除，不冒充模型 0 分。

“能力差”和“没交卷”是两件事，分开记账。

四、两张原始榜，加一张综合参考榜

榜单 A · Round 1

回答：“我把数学、代码、研究、写作、规划等十种任务一次塞给模型，谁能交出最完整的答案？”

榜单 B · Round 2

回答：“把任务拆开、每个 Worker 一次只做一件事时，谁的能力与交付最稳定？”

榜单 C · 50/50 双轮综合参考

只纳入同时参加两轮的五款模型，计算方式为：

50/50 参考值 = (Round 1 + Round 2) / 2

它只服务于路由决策，不是第三种能力量尺，也不能替代两张原始榜。两轮的题目、工作方式、样本数和评分流程都不完全相同，不能把它们当成一次简单的前后测验。

五、榜单 A · Round 1：一次性复杂任务

每次整卷都在一个响应里完成十个维度。每维由 5 个细项评分，总分 100；核心答案错误触发 B0，该维度最高 3 分。各模型经过多次整卷测试，榜单使用中位数，减少单次输出波动对排名的影响。

Qwen Max 的历史答卷原发布 76.4，复核发现 D4 判分偏低，重评为 78.8；同配置 5 次新整卷为 78.8 / 78.4 / 76.8 / 77.2 / 80.8，因此本榜使用更稳健的中位数 78.4。

Round 1 十维热力图的读法

稳定强项：D1 逻辑、D4 Agent 规划、D10 指令与诚实性最容易拉齐顶级模型，这些维度区分不了太多模型。

主要分水岭：D2 代码契约与可执行测试、D5 权威冲突、D9 高风险治理更能区分模型，应该看列而不是只看总分。

B0 的意义：Round 1 有 5 处 B0，其中 3 处在 D2；Round 1 与 Round 2 合计 10 处 B0，其中 7 处在 D2。很多模型不是不会写代码，而是在关键契约边界上写出了不能直接放行的实现。

Round 1 结论：Sol、Fable、Kimi 构成第一梯队，DeepSeek 紧随其后。表面分数上 Sol 为 98.4、Fable 为 97.6；Fable 5 本次没有使用最高模式，因此该分数只是当前配置下的观测值，值得在最高模式下复测。由于大多数模型只有一次整卷答卷，当前证据适合做初筛，不足以宣布长期冠军。

六、榜单 B · Round 2：拆解任务与交付稳定性

每次只做一个维度，使用干净上下文，重复三次。五款模型的 150 份最终答卷匿名打乱后，由同一个 Sol Ultra 裁判按冻结 rubric 统一复判。

HippoTeam：把复杂任务拆成多个 Worker 子任务的工作流，用来检验模型在拆解、逐项验收场景下的交付表现。Round 2 的每次运行仍由单个模型完成一个维度，不是多个模型同时协作。

前三名只差 2.2 分，结合小样本和 transport 差异，不应解读为稳定显著差距——三者同属第一梯队。

统一复判也修正了旧版 Round 2 榜：Qwen Max 从 91.8 调整为 85.4，DeepSeek 从 82.0 调整为 73.4，本地 Qwen 从 76.0 调整为 68.4。最明显的修正是 Qwen Max 的 D2 按核心契约错误触发 B0，三次均为 3.0。

Round 2 五款模型逐维表现

PF = provider failure，按预声明规则排除，不计模型 0 分。其他 0 分均为模型实际响应无最终正文，多次把全部 completion budget 花在 reasoning 上。0 分代表这次委派无法交付，不代表模型没有相应知识。

Round 2 逐维速读

Opus 4.6：代码与产品最强。D2 为 8.8，D8 为 9.6，30/30 完整交付；短板是 D5 长上下文 7.2 和 D6 证据 7.6。

Kimi-K3：最均衡。除 D2 外几乎所有维度都在 8.4 以上，D9/D10 尤其稳；D2 中位仅 3.0，并出现 1 次空正文、2 次截断。

Qwen Max：最稳定。D4、D5、D7 较强，29 个有效模型响应全部完整；D2 三次稳定触发 B0。

DeepSeek：上限在，但交付损失大。成功样本的上限不低，D3 曾拿到 9.6；但 6 次空正文和 1 次截断使 Round 2 降到 73.4。

本地 27B：主要问题在交付。D1 逻辑和 D10 诚实的有效样本可用，但 D2 三次空正文、D7 两次空正文，必须自动兜底。

七、逐模型对比：8 款模型各自适合什么

以下方向全部来自本轮实测，与厂商定位无关。五款模型有双轮证据；Sol 与 Fable 只有 Round 1，因此“适合方向”比脱离场景的绝对名次更可信。

GPT-5.6 Sol Ultra｜98.4, Round 1 第一梯队

十维里只有 D3 审查 9.6、D8 创意 8.8，其余八维全部满分。证据判断、Agent 计划和诚实性几乎无漏洞，最少需要人工返工。

适合：复杂综合任务、严格代码实现、证据判断、Agent 计划、关键决策。

弱项：创意方向仍偏传统“仪表盘”范式，缺少产品上的惊喜。

角色：高难任务主执行者、关键变更第一实现者。

注意：未参加 Round 2 重复测试，98.4 是一次性交付下的表现。

Claude Fable 5｜97.6, Round 1 实测第二，最高模式复测待定

本次使用的不是最高模式，因此这个 97.6 只是当前配置下的观测值，不能视为模型能力上限。就这份答卷的证据边界、长上下文综合和路由策略而言，Fable 5 展现出第一梯队水平；我们建议在最高模式下复测后，再判断它是否超过 Sol Ultra。

适合：长上下文综合、证据边界、产品策略、创意与高质量报告。

弱项：D2 没有像 Sol 那样直接证明 DB 调用期间缓存未变，是“证明到位程度”的小扣分。

角色：高级 PM、研究与产品 Worker、关键文档作者。

注意：本次没有使用最高模式；97.6 只是当前配置下的观测值，建议最高模式复测后再与 Sol Ultra 比较。

Kimi-K3｜R1 95.6 / R2 86.6 / 双轮参考 91.1

十维表现均衡，最终成为五款双轮模型里综合参考值最高的一款。中文沟通、研究取证、规划决策和产品方案都适合拆成独立 Worker 任务。

适合：研究证据、规划决策、中文沟通、调试审查和产品方案。

弱项：Round 2 的 D2 中位只有 3.0，并出现 1 次空正文、2 次截断；JSON.stringify(undefined) 被静默改成 null，违反类型契约。

角色：默认研究/规划 Worker、中文与产品 Worker。

门禁：关键代码任务必须换专门 coder 或强门禁。

DeepSeek V4 Pro 0813｜R1 91.6 / R2 73.4 / 双轮参考 82.5

Round 1 一次性综合能力很强，但 Round 2 的能力画像和交付统计明显下滑。D1、D4、D6、D9、D10 的成功样本仍有质量，主要损失来自交付失败。

适合：深度研究、证据分析、Agent 规划和风险决策。

弱项：多次把全部预算花在 reasoning 上，最终没有输出正文；D5 事实边界也拉低统一复判分。

角色：研究/审查 Worker。

门禁：完成检测、重试和降档；不适合无人监督的单次交付。

Qwen3.8 Max｜R1 78.4 / R2 85.4 / 双轮参考 81.9

Round 2 三轮逐轮分数集中在 85.4–85.8，29 个有效模型响应全部有完整正文，稳定性是五款模型里最有辨识度的优势。它更适合边界明确的复杂子任务。

适合：边界明确的 Agent 计划、长上下文、中文沟通、审查与产品子任务。

弱项：D2 三次均为 3.0，触发 B0；数据库权威、缓存和并发幂等必须由真集成测试兜底。

角色：HippoTeam 主力 Worker、计划与长上下文 Worker，优先用于多模态任务。

判断：结合多模态能力、稳定交付和实际使用体验，我们认为 Qwen3.8 Max 的综合使用价值至少不低于 Opus 4.6。

补测：Round 2 有 1/30 次 provider failure，按规则排除。

Claude Opus 4.6｜R1 70.8 / R2 87.6

Round 2 拆解后跃升到第一名：D2 代码中位 8.8，D8 创意与产品 9.6，30/30 完整交付。它在代码和产品创意上优势明确，但这不等于在所有真实工作流中的综合使用价值都高于 Qwen3.8 Max。

适合：严格代码实现、调试、创意产品、中文约束交付和诚实性审查。

弱项：D5 长上下文 7.2、D6 研究证据 7.6；容易把未知部署状态写成事实。

角色：coder、产品创意 Worker、独立 reviewer。

注意：本轮使用 Claude Code CLI 的 Max effort，不支持 seed，transport 与 OpenRouter 不完全同口径。

Qwen3.8-27B Q8_0｜R1 68.4 / R2 68.4，本地 4090

本地部署、数据可控。Round 1 中它的 68.4 高于 GLM-5.2 的 59.0，说明在本轮测试和当前配置下，它已经具备实际可用性；但 D1、D3、D9、D10 的有效样本仍有可用表现，整体波动范围达到 59.4–76.4，是五款模型里最宽的。

适合：隐私敏感、本地可控任务。

弱项：D2 三次空正文、D7 两次空正文，另有 2 次截断。

角色：本地可用 Worker，适合隐私敏感和低风险任务。

判断：本轮测试中它高于 GLM-5.2，已经可以用起来；但交付波动较大，仍需保留自动重试和人工门禁。

门禁：保留最终答案预算，自动识别空正文并降档重试。

GLM-5.2｜59.0, Round 1 仅基线

No-think 模式能完成整卷，D1/D5/D10 尚可；但严格代码、工具计划和路由策略失分较多，与顶级模型配置不对等。

适合：低风险草稿、一般中文整理、允许人工修订的任务。

弱项：No-think 与顶级模型配置不对等；Think 版曾耗尽 16,384 推理 token 且正文为 0。

角色：低风险草稿 Worker。

八、Round 2 的关键发现：模型开始明显分工

Opus 4.6 · 代码与产品

D2 为 8.8、D8 为 9.6，且 30/30 完整交付；短板是 D5 长上下文 7.2、D6 研究证据 7.6。

Kimi-K3 · 最均衡

D2 是明确短板，只有 3.0；但 D1、D3–D6、D8–D10 大多在 8.8–10.0，双轮综合参考值最高。

Qwen3.8 Max · 实际使用价值高于表面排名

Round 2 的数值上 Opus 4.6 为 87.6、Qwen3.8 Max 为 85.4，但结合我们的实际使用判断，Qwen Max 在长上下文、Agent、中文约束、稳定交付以及多模态工作中更适合做主力；因此我们认为，结合多模态和真实工作流使用，Qwen3.8 Max 的综合表现比 Opus 4.6 更强。三轮逐轮分数只在 85.4–85.8 之间变化，29 个有效模型响应全部有正文；D2 三次触发 B0，是不能绕开的代码短板。

DeepSeek · 上限在、交付损失大

D2 三轮为空，另有 1 次部分正文和 6 次空正文；统一复判后 Round 2 为 73.4，主要损失来自交付失败而非能力本身。

本地 27B · 主要问题在交付

D3、D4、D5、D8、D10 并非全面失效，但 D2 三轮为空、D7 两轮为空，整体范围达到 59.4–76.4。尽管如此，它在本地可控和隐私敏感场景已经具备实际可用价值；在 runtime 能自动识别空正文并降档重试之前，仍只适合有人盯的任务。

九、五款模型的双轮综合参考

50/50 综合参考榜只纳入同时参加两轮的五款模型。

综合参考值只是一个路由辅助数字。DeepSeek 与 Qwen Max 只差 0.6 分，远小于方法和样本不确定性。更稳定的判断是：Kimi 双轮最均衡，Qwen Max 在多模态、长上下文和稳定 Worker 场景的实际使用价值突出，Opus 在代码与产品创意上更强；DeepSeek 更偏单次成功样本但交付失败较多。

十、最值得研究的现象：为什么 Qwen Max 两轮差了 7 分

这张图解释的不是“模型升级了”，而是任务组织方式改变了。

这是所有结果里最容易引发误读的一处。

78.4｜Round 1 · 一次性交付
十项混合、一次交给模型。D2 五次都漏掉严格序列化契约，D7 五次都加入题面未提供的事实，D3/D5/D9 存在明显波动。

85.4｜Round 2 · 拆解 Worker
单维隔离、约束显式、三次取中位。除 D2 外各维中位 7.6–10.0，29 个有效响应全部有正文，逐轮分数集中在 85.4–85.8。

正确解释是：模型能力没变，变的是工作方式。

Qwen Max 更适合边界明确的复杂子任务；一个请求里同时维持大量异质约束时，短板更容易暴露。不是模型从 78 分“进化”到 85 分，而是两种测量对象不同。

Round 1-R 提供的独立证据

Round 1-R 是后来专门为 Qwen Max 增加的复核：原整卷再跑 5 次，并把原题拆开做诊断。它用于解释 78.4 从哪里来，不是第三张正式排行榜。

十一、怎么把这些用起来：按任务类型路由

路由图先给方向，下面的表格补充具体门禁。当前证据支持按任务类型路由，暂时不支持一款模型包办全部角色。以下路线不比较速度与价格，只看能力与可靠交付：

当前最适合采用组合路由：Kimi-K3 管通用研究与规划，Qwen3.8 Max 管多模态、长上下文与稳定的 Agent 子任务，Opus 4.6 作为代码与产品创意专长模型。Qwen3.8-27B Q8_0 已高于 GLM-5.2，可以用于本地隐私和低风险任务。代码任务强制真集成测试；任何空正文、截断、provider failure 都由 runtime 分类处理，不能混成普通低分。

十二、必须知道的限制：哪些结论不能下

一份可信的报告要同时交代证据边界：

Round 1 各模型进行多次整卷测试并取中位数。这能减少单次输出波动，但仍属于有限次数的稳定性观察，不等于长期统计定论。

Round 2 现在有五款模型。由于 Sol Ultra 与 Fable 5 在 Round 1 已分别以 98.4 和 97.6 处于第一梯队，Round 2 将复测资源集中在其余五款模型，专门观察拆解任务与交付稳定性；因此 Sol 与 Fable 不进入 Round 2 排名，也不纳入 50/50 综合参考。

推理模式和 transport 不完全一致。Qwen Max/本地 Qwen 为 Medium Think，DeepSeek/Kimi 为 High Think；Opus 使用 Claude Code CLI 的 Max effort，CLI 不支持 seed，输出预算 transport 与 OpenRouter 不完全相同。

Round 2 每个模型仍只有三次。这是可靠性 pilot，不是长期统计定论。Qwen Max 的 D9/run3 是 provider failure，按规则排除，不记成模型 0 分。

两轮评分流程不完全相同。Round 2 的 150 个候选单元匿名打乱并由同一个 Sol Ultra 裁判评分；Round 1 保留原冻结账本，只有 Qwen Max 做过专门复核。

题目本身会影响结果。Round 2 的 D2 明确写出必须拒绝 JSON.stringify(undefined)，Round 1 把它作为隐含边界；两轮不能当同一套题的前后涨分。

因此，不应从本报告得出以下结论：

“98.4 的模型在所有真实任务都最好”

“Qwen Max 的真实能力就是 85.4”

“Opus 领先 1 分就证明长期必胜”

“空正文等于完全不会”

这些说法都超出了证据。

最终结论

如果你习惯一次给完整复杂任务：优先看 Round 1——Sol Ultra、Fable 5、Kimi-K3 的一次性综合交付最好，DeepSeek 也很强；Qwen Max 在这种方式下稳定约 78.4，主要败在严格代码边界和事实忠实度。

如果你使用拆任务、逐步验收的工作流：优先看 Round 2——Opus 4.6、Kimi-K3、Qwen3.8 Max 属于第一梯队。数值上 Opus 领先，但结合多模态、长上下文、稳定交付和实际使用体验，我们认为 Qwen3.8 Max 的综合使用价值至少不低于 Opus 4.6；Opus 仍是代码与产品创意专长模型，Kimi 最均衡。

如果你需要同时兼顾一次性整包交付和拆解 Worker，可以参考五款模型的 50/50 综合值：Kimi-K3 91.1 最高，DeepSeek 82.5，Qwen Max 81.9，Opus 79.2，本地 27B 68.4。但这个数字只用于路由决策，不能替代两张原始榜。

当前建议随最终测试更新：Kimi-K3 作为通用研究、规划与中文 Worker 的首选；Opus 4.6 作为代码实现和产品创意首选；Qwen3.8 Max 作为稳定的 Agent、长上下文与中文约束 Worker。DeepSeek 和本地 27B 只有在 runtime 能自动识别空正文、截断并重试时启用；高风险任务仍必须跨模型独立复核并由人类批准。