AI代理跑崩,问题根本不是推理而是上下文
// 智能体上下文管理 //
适合周末阅读,记得收藏。生产环境智能体的失败,更少来自推理错误,更多来自上下文里堆积的内容。
每一轮交互后,对话历史、大型提示词、超长工具定义、不断膨胀的工具输出都会不断积累。
常见的应对方案是存储与检索:找一个地方存放记忆,需要时再查询。一项新研究认为,这个框架太狭隘,提出了一门更完整的学科,叫做Agentic Context Management。
它被分解为五个原语:架构设计(architecting)、数据摄入(ingesting)、范围限定(scoping)、需求预判(anticipating),以及带整合的压缩(compacting with consolidation)。
朴素的积累会让token成本随对话长度的平方增长。粗糙的摘要能把成本降到线性,但准确率会骤降。只有经过保真度验证的压缩,才能让你得到线性成本,同时不损失关键信息。
一个参考实现在LongMemEval上取得了92%的成绩,在LoCoMo上取得了93.2%的成绩。
为什么这件事很重要?上下文管理正在成为贯穿整个组织的头等生产要务。这五个原语为你提供了一套结构化的方法,来分析你的token预算都花在了哪里。
论文地址:
来我们的学院学习如何构建有效的AI agents:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖