港大 HKUDS 开源 AgentPilot,给 Agent 配了个试错策略大脑
推荐港大 HKUDS 开源的 AgentPilot,把 Agent 在反复试错过程中「下一步该做什么」单独作为一个策略优化问题。
它用一个 9B 策略模型指导 Codex、Claude Code、DeepSeek Harness 等 Agent,决定从哪个版本继续改进、探索什么方向,以及如何分配试错预算。
具体来说,AgentPilot 会记录每次尝试的结果、版本关系和剩余预算,通过 KL-UCB 或 Policy Memory 利用历史反馈,持续调整后续的探索策略。
项目还提供 RSI Arena,用来评估 Agent 在多轮尝试中的改进效果,以及这些改进能否泛化到未见任务。
作者也报告,在 Terminal-Bench 2.1 实验中,经过 10 轮改进,未见任务上的成绩从 44.9% 提升至 69.4%,提高了 24.5 个百分点。
我比较关注它对 Agent 自我改进的一个具体切入点:把试错过程中的策略选择单独拿出来优化,让 Agent 能够根据真实反馈,逐渐学会如何更有效地探索。
对于长时间运行的 Agent,如何利用有限的试错预算,可能会直接影响系统最终能改进到什么程度。
💻 GitHub: