AI Pulse
📡 X 信号

AI代理跑崩,问题根本不是推理而是上下文

// 智能体上下文管理 //

适合周末阅读,记得收藏。生产环境智能体的失败,更少来自推理错误,更多来自上下文里堆积的内容。

每一轮交互后,对话历史、大型提示词、超长工具定义、不断膨胀的工具输出都会不断积累。

常见的应对方案是存储与检索:找一个地方存放记忆,需要时再查询。一项新研究认为,这个框架太狭隘,提出了一门更完整的学科,叫做Agentic Context Management。

它被分解为五个原语:架构设计(architecting)、数据摄入(ingesting)、范围限定(scoping)、需求预判(anticipating),以及带整合的压缩(compacting with consolidation)。

朴素的积累会让token成本随对话长度的平方增长。粗糙的摘要能把成本降到线性,但准确率会骤降。只有经过保真度验证的压缩,才能让你得到线性成本,同时不损失关键信息。

一个参考实现在LongMemEval上取得了92%的成绩,在LoCoMo上取得了93.2%的成绩。

为什么这件事很重要?上下文管理正在成为贯穿整个组织的头等生产要务。这五个原语为你提供了一套结构化的方法,来分析你的token预算都花在了哪里。

论文地址:

来我们的学院学习如何构建有效的AI agents:

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部