模型是最小的部分:Anthropic实测,Token用量解释80%差异
Anthropic测量了是什么让一个研究智能体胜过另一个,仅Token使用量一项就解释了80%的差异
LangChain保持模型不变,只改了围绕它构建的东西,它的编码智能体在Terminal Bench 2.0上从52.8%升到66.5%
模型是人人都在争论的部分,也是你实际构建中最小的部分
提示词工程是这项工作的第一层,还有另外八层
过去九天里,本系列用一整篇文章拆解了每一层
本文就是地图:九层尽收一页,缺失任一层的后果,构建顺序,以及一份将它们串在一起的AGENT.md
三十秒版
智能体工程就是你围绕模型构建的一切,让工作在你不用盯着的状态下也能正确完成
它分为三个阶段共九层,每一层回答一个问题:
输入:什么进去
提示词——你问什么
上下文——它看到什么
技能——它知道怎么做
智能体:它如何运转
验证——它怎么知道完成了
循环——它如何修复失败
记忆——它每次运行之间保留什么
系统:它如何扩展
运行框架——它在什么里面运行
工作流图——谁做什么
Token——这一切要花多少
按这个顺序构建:糟糕的提示词配再好的运行框架,仍是一个糟糕的智能体;一群没有检查机制的智能体,只是同一个错误在并行运行
为什么模型是最小的部分
本系列背后的研究里,每次大的跳跃都来自某一层,而不是来自新模型
同一模型,新运行框架
LangChain只改变了固定模型周围的配置——提示词、工具和检查——在Terminal Bench 2.0上从52.8%升到66.5%
小模型,对的技能
在SkillsBench中,带技能的Claude Haiku 4.5得分27.7%,不带技能的Claude Opus 4.5得分22.0%——便宜模型赢了
上下文越多,答案越糟
斯坦福的"Lost in the Middle“显示,模型会漏掉长输入中间的内容;Chroma发现它测试的18个模型全部随着输入变长而可靠性下降
重试不等于检查
Google DeepMind让模型在没有外部信号的情况下重新检查自己的答案,Llama-2在小学数学上的得分从62.0%降到36.5%
把教训写下来的记忆
Reflexion储存智能体自己对出错原因的笔记,在下次尝试时回读:在HumanEval上达到91%,而单独的GPT-4是80%
团队消耗Token
Anthropic的多智能体研究系统比单个智能体高出90.2%,但为此消耗的Token约为一次对话的15倍
规律:同一个模型可能是玩具,也可能是队友,各层决定它是哪一个
1. 提示词:你问什么
提示词就是任务、目标和”完成的样子“,一条消息说清楚
这是每个人都在做的层,也是第一个收益递减的层:有了清晰的目标、几条硬限制和一个好结果的例子之后,更多的话很少换来更好的答案
规则:说清楚完成的样子,然后让其他八层去干重活
缺失时:智能体做了一件合理的事,但不是你想要的
2. 上下文:它看到什么
窗口里的每个Token都在争抢模型的注意力,所以更多通常是更糟,而不是更稳妥
五个动作解决大部分问题:只保留下一步需要的内容;规则放顶部、目标放底部;让它自行抓取文件而不是粘贴进去;把旧轮次压缩成笔记;把重阅读交给有自己窗口的子智能体
规则:上下文里的每一行都必须在这一步里挣到自己的位置
缺失时:智能体会忘记你二十条消息前给它的规则
完整拆解:Context Engineering: What Your Agent Sees Decides What It Does
3. 技能:它知道怎么做
一个技能就是一个包含SKILL.md文件的文件夹:描述说明何时使用,步骤写成指令,以及任何每次必须产出相同结果的脚本
只有描述会被常驻加载,约100个Token,其余部分在任务需要时才加载,所以一个智能体可以带几十个技能
规则:第二次向它解释一个任务时,那就是一个你还没写的技能
缺失时:你每周粘贴同样的指令,每次还是得到不同的结果
完整拆解:Skill Engineering: How to Turn Everything You Do Twice Into a File
4. 验证:它怎么知道完成了
智能体给自己打分时说”完成“的频率远高于实际完成的频率
验证把评分搬到一个智能体无法争辩的地方:测试、线上应用、一个数字,或者一个从未见过推理过程的独立检查器
每一个漏过去的错误都变成一条新检查,同一个错误永远不会上线两次
规则:做的人永远不给自己打分
缺失时:你要读智能体产出的一切,这意味着你其实根本没省下时间
完整拆解:Verification Engineering: How to Build AI Agents You Never Have to Check
5. 循环:它如何修复失败
循环有四部分:行动、检查、修正、停止
每轮只改一处;一个智能体无法编辑的检查;一个记录保留了什么、撤销了什么的文件;以及在第一轮之前就写好的三个出口:完成、卡住、预算用尽
没有检查,”再试一次“只是再猜一次,这就是上面DeepMind数字往下掉、而不是往上涨的原因
规则:每轮一处改动、一次检查、一个决定
缺失时:智能体要么停在第一稿,要么跑一整晚越改越糟
完整拆解:Loop Engineering: How to Build Agents That Fix Their Own Mistakes
6. 记忆:它每次运行之间保留什么
记忆把你的一次纠正变成规则,而不是变成你下周还要再说一遍的事情
写教训而不是流水账;把规则、事实和事件分开存放;只加载这个任务需要的;按计划把笔记变成规则;让最新的事实胜出;每周让一个人读一遍
规则:如果不会改变智能体下次的行为,就不值得写下来
缺失时:你每周一都在纠正同样的事情
完整拆解:Memory Engineering: How to Build an Agent That Gets Smarter Every Day
7. 运行框架:它在什么里面运行
运行框架是模型运行的一切环境:工作地图、可用的工具、不可违反的规则、一个检查器、记忆,以及一个停止条件
这就是为什么同一个模型在一个团队能交付、会说”完成“,在另一个团队就坏掉
规则:智能体失败时,先修运行框架,再怪模型
缺失时:每次运行都从零开始,没人说得清为什么周二能行、周三就不行
完整拆解:Harness Engineering: Why the Same Model Works for Them and Breaks for You
8. 工作流图:谁做什么
在添加第二个智能体之前,先把工作画出来:步骤是节点,交接是边,每个智能体拥有图的一部分
大多数多智能体团队失败在图上,而不是智能体上:两个智能体做同一个步骤、一个无人拥有的步骤、每个交接都要等的那个智能体
并行智能体在能干净拆分的任务上划算,比如调研;在每一步都依赖前一步的任务上,花得比挣得多
规则:先画工作,再雇智能体
缺失时:更多智能体,同样产出,更大账单
完整拆解:Graph Engineering: Draw the Work Before You Build the Agents
9. Token:这一切要花多少
一个智能体消耗约4倍于对话的Token,一个团队约15倍,所以除非有人刻意设计,账单的增长快于产出
六个杠杆让它保持平稳:度量每个任务的Token;缓存每次调用中不变的部分;把简单步骤路由到小模型;修剪步骤用不到的内容;给每个智能体设上限;把能等的批量处理
规则:没有上限的智能体不是自主,是没人管
缺失时:周三就撞上用量上限,还说不出是哪个智能体吃掉的
完整拆解:Token Engineering: How to Run 12 Agents on One Plan
构建顺序
大多数人倒着建:第一天五个智能体、一个团队聊天室、一个仪表盘,到处都没有检查
按地图从左到右的顺序建:
第1周,输入——一个智能体,一件你每周都做的任务,一个说清楚完成样子的提示词,干净的上下文,把任务写成技能
第2周,智能体——加一个它无法争辩的检查,用一个带三个出口的循环包起来,为每次纠正开一个记忆文件
第3周,系统——现在才加第二个智能体,先画工作流图,把两个都放进同一个运行框架,给每个智能体设上限
每个阶段都只能建立在前一阶段之上:没有检查的循环只是在重复错误,没有图的团队只是把错误并行重复
文件:AGENT.md
一个文件,每层一行,括号是唯一需要改动的部分:
PROMPT:[任务] 在 [完成的样子,一行] 时算完成
CONTEXT:为此任务加载 [仅这些文件],规则放顶部,目标放底部
SKILLS:当 [触发它的词] 时使用 [技能名]
VERIFY:完成意味着 [测试/数字/线上检查] 通过,由 [不是你的检查者] 执行
LOOP:每轮一处改动,当 [完成]、[卡住3轮] 或 [预算用尽] 时停止
MEMORY:每次纠正作为一行写进 [memory.md],最新的事实胜出
HARNESS:你可以使用 [这些工具],你绝不 [3件不可撤销的事]
GRAPH:你负责 [这些步骤],当 [条件] 时交接给 [下一个智能体]
TOKENS:每任务最多 [N] 轮和 [N] 个Token,[简单步骤] 使用小模型
九行,每一行堵住一种智能体曾经会坏掉的方式
哪一层坏了
当一个智能体没尽到本分时,症状会告诉你先打开哪一层:
它做了一件合理的事但不是你想要的 → 提示词
它忘记了二十条消息前的规则 → 上下文
你每周粘贴同样的指令 → 技能
它说”完成“但其实没有 → 验证
它停在第一稿,或者永远不停 → 循环
你每周一纠正同样的事情 → 记忆
它周二能行、周三坏了,没人知道为什么 → 运行框架
更多智能体,同样产出 → 工作流图
周三用量上限就没了 → Token
九个症状,九个层,换更大的模型一个也修不了
浪费全部九层的错误
等下一个模型发布
本文的每个数字都来自某一层,下一个模型只会让好的层更好,让坏的层继续坏
从团队开始建
团队会放大单个智能体做的一切,包括它的错误和它的Token账单
原封不动抄别人的配置
他们的AGENT.md刻着他们的错误,你的必须来自你实际做过的纠正
用更长的提示词修一切问题
大多数失败住在2-9层,更长的提示词只是让第1层变得更重
一次建完九层
没人说得清是哪一层起了作用——加一层,量一量,再加下一层
今晚从哪里开始
挑一件你最常交给智能体的任务
读上面的症状清单,找到第一个坏掉的层
打开系列里的那篇文章,做它的”今晚从哪里开始"部分
复制上面的AGENT.md,填上你已经有的层,其余的暂时留空
下周,再多填一行
九周后,你将拥有别人还在等新模型来给他们的那个智能体
附言:模型是租来的,各层是你的