研究智能体改自己程序如何判断好坏

Agent 自己改 Harness，最难的其实并不是「怎么改」。 而在于没有标准答案时，怎么知道这次改动到底有没有变好。

Google 团队这篇 Harness²，专门研究开放世界里的 Harness 自进化。 它设计了两层递归。

第一层针对当前任务：先提出 Harness 修改，再让新旧版本在相同条件下执行，通过行为差异判断哪些改动值得保留。 也就是说，它不依赖 ground-truth verifier，也能用真实执行结果来指导修改。

第二层更有意思： 每次改 Harness 的过程也会被总结成经验，记录什么问题、用了什么修改、为什么有效，再拿去指导未来的新任务。 所以它积累的，不只是更好的 Harness，还有「怎么改 Harness」这件事本身。

在 WorkBuddy-Bench、JobBench 和法律 Agent Benchmark 上，单轮改进就能稳定提升 GLM-5 和 Gemini 3.5 Flash，最高分别提升 11.5、4.5 和 11.8 个百分点；继续增加递归预算，表现还能进一步上涨。

我更关注第二层递归。 单次把 Agent 调得更好并不难，真正接近长期自进化的，是系统开始积累「过去怎么把自己调好」的经验。 Harness² 往前走的一步，就是让改进机制本身也开始有记忆。

📎 arxiv: