AI Pulse
📡 X 信号

DeepSeek 开源编码代理 DSH 登顶榜单,却因一个小习惯丢了冠军

DeepSeek 开源编码代理 DSH 登顶榜单,却因一个小习惯丢了冠军

你们要 dsh,我就加上了。DeepSeek Harness 是 @deepseek_ai 推出的开源编程智能体。它现已登上 @huggingface 的 Harness 排行榜,该排行榜在相同开源模型上对十个编程智能体进行对比。

在全部五项评测中,DSH 均与第一名并列:低强度和高强度模式下的 DeepSeek-V4.1-Flash、GLM-5.3-Flash,以及 Flint。它在 DeepSWE 上表现突出,该任务要求智能体修改开源仓库中的代码:在三个模型的平均成绩中,它在十个智能体里排名第二,仅落后 @NousResearch 的 Hermes Agent 0.5 分。

在 Terminal-Bench 的命令行任务中,它排名第六。这个差距很大程度上源于一个习惯:DSH 完成任务后,会关闭它启动的所有后台程序。

Terminal-Bench 中有三个任务要求智能体启动服务器,例如模型推理 API。评分器会在智能体完成任务后测试该服务器。但使用 DSH 时,服务器到那时已经消失了。

在 DeepSeek-V4.1-Flash 和 GLM-5.3-Flash 上,DSH 在这些任务的 36 次尝试中仅通过了 2 次。@opencode、@pidotdev 和 Hermes Agent 则全部通过了 36 次。

这三个任务在每次评测中让 DSH 损失了 1.5 到 1.7 分。在高强度模式的 DeepSeek-V4.1-Flash 上,这比它与领先者之间 1.3 分的差距还要大。

开发者预览版:0.2.2-rc.1。网页搜索功能已关闭,因为它需要 DeepSeek 账户密钥。按三个模型平均计算,每次解决问题的成本为 0.53 美元。排行榜:

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新