三份agent更新拼成一个LoRA,编程得分47%升到67%
三个 harness:Hermes Agent、OpenCode、pi。它们各有自己的调优权重。作者把三份权重更新拼成一个 rank-96 LoRA,套在同一个 Qwen3.8-27B 上。三份更新几乎正交,余弦相似度约 0.01。它们落在参数空间里几乎不重叠的方向上,拼起来不会互相抵消。
合并不需要 TIES 或 DARE 那类有损算法。做法是沿 rank 维度直接拼接,每个取权重 ½,得到一个 rank-96 LoRA。三份更新被精确应用,中间没有压缩或近似步骤。
分数变化
SWE-Bench Pro 上,Hermes Agent 从 45% 升到 61%,OpenCode 从 47% 升到 67%,pi 保持 74%。Terminal-Bench 2.1 上,三个 harness 都提升 4 到 6 分。六个 harness/benchmark 组合平均,55.5% 升到 63.5%。
作者自己先摆短板:pi 在 SWE-Bench Pro 上没有变化,主要增益来自 Hermes Agent 和 OpenCode。pi 起点 74%,比另外两个高出一截。是适配器和 pi 的交互不合,还是 pi 已贴近这个基准的上限,没有解释。主要用 pi 的话,这个适配器的收益有限。
省下来的部分
关闭 thinking 时,工具调用次数减少 53% 到 73%;开启 thinking 时减少 19% 到 48%。调用次数少,API 调用成本和来回确认环节就少。但一轮推理本身要花多久,是另一件事。把调用次数直接换算成省下的时间,目前没有依据。
获取与兼容
模型在 huggingface.co/harness-hub/Qwen3.8-27B-super-adapter。完整配方、实验记录和开放问题在 huggingface.co/blog/harness-adapters-at-scale。
评论区有人报告,这个适配器在 llama.cpp 的“--split-mode tensor”模式下无法工作。有没有替代配置,没有答案。本地跑模型的人要留意这一条。
评论区还在问什么
有高票评论呼吁给 DeepSeek harness 做适配器。也有人问,是否计划为 QFN 和 DS 4.1 Flash 训练 LoRA。另有人问,能不能对 GitHub Copilot Harness 做同样的事。这些停在询问层面。适配器只在 Hermes Agent、OpenCode、pi 三个 harness 上测过。延伸到别的工具,属于未验证。
一位评论者没有 GPU 跑 GRPO,换了条路。他为 oh-my-pi(omp)录制模型在真实仓库任务中的运行过程。评分看两件事:测试是否通过,工具用得好不好。然后对表现最好的那些做 SFT/DPO。他已经在用作者发布的任务包。这条路不靠 GRPO 的算力,但要人工记录和筛选真实任务。
有人问在 2xB200 配置上跑某个 harness(比如 pi)要花多久,没有得到回答。训练这样一个适配器需要多少算力和时间,没有公开。这直接关系到方法能不能被小团队复制。
也有人问,合并三个适配器是否比单个适配器对某个特定 harness 更有用。单个适配器与合并版的直接对比,目前没有结果。能确认的是,拼接是精确应用、没有损失,这两件事不是一回事。
方法比模型更重要
这套方法的核心主张是:模型、harness、任务都可以换成自己的,然后训练一个 harness 适配器。三个更新近乎正交,如果能稳定复现,合并成本就低到可以忽略。不需要复杂的模型融合工序。
公开评测覆盖 SWE-Bench Pro 和 Terminal-Bench 2.1 两个编程基准。换到非编程任务上表现如何,适配器与更多模型组合会不会失效,都还没有数据。
关键事实
- 作者将三个不同agent harness(Hermes Agent、OpenCode、pi)的权重更新合并成一个rank-96 LoRA适配器。
- 合并后的适配器在多个harness上均优于基础thinking模型,且工具调用次数明显减少。
- 在Hermes Agent上,SWE-Bench Pro得分从45%提升到61%。
- 在OpenCode上,SWE-Bench Pro得分从47%提升到67%。
- 在pi上,SWE-Bench Pro得分保持74%不变,没有提升。
- 六个harness/benchmark组合的平均得分从55.5%提升到63.5%。
- 作者明确承认pi在SWE-Bench Pro上没有变化,主要增益来自Hermes Agent和OpenCode。
- 在关闭thinking时,工具调用次数减少53%到73%。