改对LLM Agent这层框架,能少花好多冤枉钱
这是一篇关于优化harness的出色研究论文(建议收藏)。构建harness存在大量超额收益空间。而且不需要太多资源就能保持它们的优化状态。
本文提出,你完全可以借助harness自身的执行来高效完成这项优化。harness是将基础LLM转化为可执行智能体的外部控制层。
现有自动优化方法只优化harness的一小部分,通常是提示词或流水线,部署后的智能体在所有场景下都重复使用同一个全局固定harness。
MemoHarness沿着推理的时间流将harness拆解为六个可编辑控制面(上下文、工具、生成、编排、记忆、输出),并将优化转化为对这些维度的结构化编辑。
它会记录每个案例的诊断结果,以及关于哪些方案有效、各维度如何交互的提炼全局模式,随后通过检索相似过往案例来适配每个新案例。
它不会在测试时标签、反馈、梯度更新或额外搜索上浪费算力。在shell-agent基准测试中,它得分达到0.806,而最强固定harness baseline得分是0.722,且它的单任务美元成本低于对比中最强的商业baseline。
论文链接:
来我们的academy学习如何构建有效的AI智能体:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖