Harness Engineering 2.0 开源，跑模型的框架本身能提效

Harness Engineering 2.0 来了！我们一直在对模型做基准测试，但运行模型的 harness 同样能显著改善结果、成本和执行时间。终于，开发者们开源了 Harness Arena，你可以在同一个任务上并排测试多种 harness 与模型的组合。

你提供一个任务，然后在多个你想测试的模型 × harness 配置上运行。每个配置都会收到相同的 prompt、文件、工具、技能和评估检查。Harness Arena 会返回：
- 总成本
- 执行时间
- 任务是否通过
- 生成的文件和产物

如果你想亲自试试，它已在开源项目 HarnessRouter 中实现。仓库在这里：（别忘了点个 star ⭐）

HarnessRouter 是一个即插即用的基础设施层，让你能在单一接口下运行任意 harness，例如：
- Codex
- Hermes
- Claude Code
- DeepSeek Harness
- 由 Jev 提供支持的 System One
- 以及另外 25 种 agent harness

在 Harness Arena 中，最便宜的运行并不自动获胜。一个配置必须先正确完成任务。成本和执行时间只在通过的配置之间进行比较。

下面是一次 Harness Arena 测试的结果：
- Hermes + GPT-5.2：5/5 次运行成功，消耗 0.47 credits
- Claude Code + Opus 4.8：3/5 次运行成功，消耗 223 credits

credits 相差约 474 倍，而更贵的那个配置还失败了两次运行。

你可以固定模型，测量 harness 对结果的影响有多大。或者同时改变两者，为该任务找到最佳的 harness 与模型搭配。这有助于回答一些实际问题，例如：
- 这个任务应该跑在 Codex 还是 Claude 上？
- 更便宜的配置能否仍然通过所有检查？
- 哪种设置最适合处理这个工作负载？

一旦找到最佳配置，你就可以通过同一个 Unified Harness Protocol (UHP) 接口来运行未来的任务，涵盖会话、流式输出、文件、产物、取消和失败处理。

这样你就不再只是基于模型排行榜来选择 agent 技术栈。相反，你可以针对产品实际需要解决的任务，对完整运行时做基准测试。

想深入了解，我的联合创始人写了一篇文章，解释为什么模型路由不同于 harness 路由、UHP 如何工作，以及支持多个 agent 运行时涉及哪些内容。文中还涵盖了本地搭建、一个可用的请求示例，以及会话和文件如何在系统中流转。请在下方阅读。