AI Pulse

三份agent更新拼成一个LoRA,编程得分47%升到67%

三个 harness:Hermes Agent、OpenCode、pi。它们各有自己的调优权重。作者把三份权重更新拼成一个 rank-96 LoRA,套在同一个 Qwen3.8-27B 上。三份更新几乎正交,余弦相似度约 0.01。它们落在参数空间里几乎不重叠的方向上,拼起来不会互相抵消。

合并不需要 TIES 或 DARE 那类有损算法。做法是沿 rank 维度直接拼接,每个取权重 ½,得到一个 rank-96 LoRA。三份更新被精确应用,中间没有压缩或近似步骤。

分数变化

SWE-Bench Pro 上,Hermes Agent 从 45% 升到 61%,OpenCode 从 47% 升到 67%,pi 保持 74%。Terminal-Bench 2.1 上,三个 harness 都提升 4 到 6 分。六个 harness/benchmark 组合平均,55.5% 升到 63.5%。

作者自己先摆短板:pi 在 SWE-Bench Pro 上没有变化,主要增益来自 Hermes Agent 和 OpenCode。pi 起点 74%,比另外两个高出一截。是适配器和 pi 的交互不合,还是 pi 已贴近这个基准的上限,没有解释。主要用 pi 的话,这个适配器的收益有限。

省下来的部分

关闭 thinking 时,工具调用次数减少 53% 到 73%;开启 thinking 时减少 19% 到 48%。调用次数少,API 调用成本和来回确认环节就少。但一轮推理本身要花多久,是另一件事。把调用次数直接换算成省下的时间,目前没有依据。

获取与兼容

模型在 huggingface.co/harness-hub/Qwen3.8-27B-super-adapter。完整配方、实验记录和开放问题在 huggingface.co/blog/harness-adapters-at-scale。

评论区有人报告,这个适配器在 llama.cpp 的“--split-mode tensor”模式下无法工作。有没有替代配置,没有答案。本地跑模型的人要留意这一条。

评论区还在问什么

有高票评论呼吁给 DeepSeek harness 做适配器。也有人问,是否计划为 QFN 和 DS 4.1 Flash 训练 LoRA。另有人问,能不能对 GitHub Copilot Harness 做同样的事。这些停在询问层面。适配器只在 Hermes Agent、OpenCode、pi 三个 harness 上测过。延伸到别的工具,属于未验证。

一位评论者没有 GPU 跑 GRPO,换了条路。他为 oh-my-pi(omp)录制模型在真实仓库任务中的运行过程。评分看两件事:测试是否通过,工具用得好不好。然后对表现最好的那些做 SFT/DPO。他已经在用作者发布的任务包。这条路不靠 GRPO 的算力,但要人工记录和筛选真实任务。

有人问在 2xB200 配置上跑某个 harness(比如 pi)要花多久,没有得到回答。训练这样一个适配器需要多少算力和时间,没有公开。这直接关系到方法能不能被小团队复制。

也有人问,合并三个适配器是否比单个适配器对某个特定 harness 更有用。单个适配器与合并版的直接对比,目前没有结果。能确认的是,拼接是精确应用、没有损失,这两件事不是一回事。

方法比模型更重要

这套方法的核心主张是:模型、harness、任务都可以换成自己的,然后训练一个 harness 适配器。三个更新近乎正交,如果能稳定复现,合并成本就低到可以忽略。不需要复杂的模型融合工序。

公开评测覆盖 SWE-Bench Pro 和 Terminal-Bench 2.1 两个编程基准。换到非编程任务上表现如何,适配器与更多模型组合会不会失效,都还没有数据。

关键事实

阅读原文
📚 相关主题 开源工程

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新