Google Cloud AI Research发布OO-Harness 自进化智能体框架(61.6%)

各位，去打造专用的测试框架吧。这是 Google Cloud AI Research 关于自进化智能体测试框架的一篇重磅论文。（建议收藏）

他们提出了 OO-Harness，在使用相同 Gemini 3.5 Flash 执行器的情况下，将 AutomationBench 的得分从 61.6% 提升到了 77.4%。在他们测试的所有三个基准测试中，它也都优于 Meta-Harness。更多细节如下。

他们没有为每个任务进化出一个全局测试框架，而是由一个进化智能体根据执行记录构建一个专用测试框架的类层次结构。该设计包含三个部分：

> 子类继承基础测试框架，仅重写任务集群所需的方法
> 设计经验会记录哪些更改有效，哪些无效
> 路由器读取任务和基础运行结果，然后选择一个子类或保留基础结果

在 Workspace-Bench 上，得分从 25.5% 提升到了 39.5%；在 Toolathlon-GYM 严格通过测试中，得分从 31.2% 提升到了 37.5%。

在最佳 K 次采样或自我优化上花费额外的推理并不能稳定地带来帮助。继承也能改善结果。在 Workspace-Bench 上，构建为子类的测试框架比将相同的进化代码复制到扁平类中得分高出 4.96 分。

与论文对话：