AlexGDimakis 团队提出 EnvOpt,给智能体换环境能省近一半成本
介绍我们最新的研究:环境优化(EnvOpt)。智能体的成本和性能取决于 1. 模型 2. 运行框架 3. 环境结构。
目前已有大量针对 1 和 2 的优化工作,但我们研究的是环境如何向智能体呈现信息,以及这如何影响性能和成本。
例如,一家公司的 Slack 工作区、文档、数据库和代码仓库可以以不同方式提供给智能体:Slack 可以放在远程服务器后面,通过 MCP 访问,或者导出为纯文本文件,用 grep 读取和搜索。仅这一选择就会显著影响智能体完成任务所需的工作量。
环境优化只有在我们所说的静态环境中才有意义:这些环境包含大量在多个任务中保持不变的工件集合。
我们提出将静态环境优化作为改进 LLM 智能体的第三个维度,与模型训练和运行框架优化并列。这种优化可以分摊到多个任务中,并能与运行框架和模型优化技术相结合。
在涵盖工作区任务、数据工程和软件工程的五个基准测试中,ENVOPT 在未见过的测试集上平均将目标智能体的成本降低了 48%,同时通过率更高或持平。
在 AutomationBench 上,ENVOPT 以仅 15% 的成本超越 Meta-Harness 9.67%。
我们还表明,ENVOPT 在两个方面构成了与运行框架优化和参数调整正交的优化方向:(1) 为目标智能体优化的环境可以迁移到其他智能体,即使使用不同的运行框架和模型 (2) 我们将 ENVOPT 与 Meta-Harness 结合,显示出相似的成本降低和 16% 的通过率提升,优于单独使用 Meta-Harness 或 ENVOPT。
在我们的博客中阅读更多:论文:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖