AI Pulse

模型是最小的部分:Anthropic实测,Token用量解释80%差异

模型是最小的部分:Anthropic实测,Token用量解释80%差异

Anthropic测量了是什么让一个研究智能体胜过另一个,仅Token使用量一项就解释了80%的差异

LangChain保持模型不变,只改了围绕它构建的东西,它的编码智能体在Terminal Bench 2.0上从52.8%升到66.5%

模型是人人都在争论的部分,也是你实际构建中最小的部分

提示词工程是这项工作的第一层,还有另外八层

过去九天里,本系列用一整篇文章拆解了每一层

本文就是地图:九层尽收一页,缺失任一层的后果,构建顺序,以及一份将它们串在一起的AGENT.md

三十秒版

智能体工程就是你围绕模型构建的一切,让工作在你不用盯着的状态下也能正确完成

它分为三个阶段共九层,每一层回答一个问题:

输入:什么进去

提示词——你问什么

上下文——它看到什么

技能——它知道怎么做

智能体:它如何运转

验证——它怎么知道完成了

循环——它如何修复失败

记忆——它每次运行之间保留什么

系统:它如何扩展

运行框架——它在什么里面运行

工作流图——谁做什么

Token——这一切要花多少

按这个顺序构建:糟糕的提示词配再好的运行框架,仍是一个糟糕的智能体;一群没有检查机制的智能体,只是同一个错误在并行运行

为什么模型是最小的部分

本系列背后的研究里,每次大的跳跃都来自某一层,而不是来自新模型

同一模型,新运行框架

LangChain只改变了固定模型周围的配置——提示词、工具和检查——在Terminal Bench 2.0上从52.8%升到66.5%

小模型,对的技能

在SkillsBench中,带技能的Claude Haiku 4.5得分27.7%,不带技能的Claude Opus 4.5得分22.0%——便宜模型赢了

上下文越多,答案越糟

斯坦福的"Lost in the Middle“显示,模型会漏掉长输入中间的内容;Chroma发现它测试的18个模型全部随着输入变长而可靠性下降

重试不等于检查

Google DeepMind让模型在没有外部信号的情况下重新检查自己的答案,Llama-2在小学数学上的得分从62.0%降到36.5%

把教训写下来的记忆

Reflexion储存智能体自己对出错原因的笔记,在下次尝试时回读:在HumanEval上达到91%,而单独的GPT-4是80%

团队消耗Token

Anthropic的多智能体研究系统比单个智能体高出90.2%,但为此消耗的Token约为一次对话的15倍

规律:同一个模型可能是玩具,也可能是队友,各层决定它是哪一个

1. 提示词:你问什么

提示词就是任务、目标和”完成的样子“,一条消息说清楚

这是每个人都在做的层,也是第一个收益递减的层:有了清晰的目标、几条硬限制和一个好结果的例子之后,更多的话很少换来更好的答案

规则:说清楚完成的样子,然后让其他八层去干重活

缺失时:智能体做了一件合理的事,但不是你想要的

2. 上下文:它看到什么

窗口里的每个Token都在争抢模型的注意力,所以更多通常是更糟,而不是更稳妥

五个动作解决大部分问题:只保留下一步需要的内容;规则放顶部、目标放底部;让它自行抓取文件而不是粘贴进去;把旧轮次压缩成笔记;把重阅读交给有自己窗口的子智能体

规则:上下文里的每一行都必须在这一步里挣到自己的位置

缺失时:智能体会忘记你二十条消息前给它的规则

完整拆解:Context Engineering: What Your Agent Sees Decides What It Does

3. 技能:它知道怎么做

一个技能就是一个包含SKILL.md文件的文件夹:描述说明何时使用,步骤写成指令,以及任何每次必须产出相同结果的脚本

只有描述会被常驻加载,约100个Token,其余部分在任务需要时才加载,所以一个智能体可以带几十个技能

规则:第二次向它解释一个任务时,那就是一个你还没写的技能

缺失时:你每周粘贴同样的指令,每次还是得到不同的结果

完整拆解:Skill Engineering: How to Turn Everything You Do Twice Into a File

4. 验证:它怎么知道完成了

智能体给自己打分时说”完成“的频率远高于实际完成的频率

验证把评分搬到一个智能体无法争辩的地方:测试、线上应用、一个数字,或者一个从未见过推理过程的独立检查器

每一个漏过去的错误都变成一条新检查,同一个错误永远不会上线两次

规则:做的人永远不给自己打分

缺失时:你要读智能体产出的一切,这意味着你其实根本没省下时间

完整拆解:Verification Engineering: How to Build AI Agents You Never Have to Check

5. 循环:它如何修复失败

循环有四部分:行动、检查、修正、停止

每轮只改一处;一个智能体无法编辑的检查;一个记录保留了什么、撤销了什么的文件;以及在第一轮之前就写好的三个出口:完成、卡住、预算用尽

没有检查,”再试一次“只是再猜一次,这就是上面DeepMind数字往下掉、而不是往上涨的原因

规则:每轮一处改动、一次检查、一个决定

缺失时:智能体要么停在第一稿,要么跑一整晚越改越糟

完整拆解:Loop Engineering: How to Build Agents That Fix Their Own Mistakes

6. 记忆:它每次运行之间保留什么

记忆把你的一次纠正变成规则,而不是变成你下周还要再说一遍的事情

写教训而不是流水账;把规则、事实和事件分开存放;只加载这个任务需要的;按计划把笔记变成规则;让最新的事实胜出;每周让一个人读一遍

规则:如果不会改变智能体下次的行为,就不值得写下来

缺失时:你每周一都在纠正同样的事情

完整拆解:Memory Engineering: How to Build an Agent That Gets Smarter Every Day

7. 运行框架:它在什么里面运行

运行框架是模型运行的一切环境:工作地图、可用的工具、不可违反的规则、一个检查器、记忆,以及一个停止条件

这就是为什么同一个模型在一个团队能交付、会说”完成“,在另一个团队就坏掉

规则:智能体失败时,先修运行框架,再怪模型

缺失时:每次运行都从零开始,没人说得清为什么周二能行、周三就不行

完整拆解:Harness Engineering: Why the Same Model Works for Them and Breaks for You

8. 工作流图:谁做什么

在添加第二个智能体之前,先把工作画出来:步骤是节点,交接是边,每个智能体拥有图的一部分

大多数多智能体团队失败在图上,而不是智能体上:两个智能体做同一个步骤、一个无人拥有的步骤、每个交接都要等的那个智能体

并行智能体在能干净拆分的任务上划算,比如调研;在每一步都依赖前一步的任务上,花得比挣得多

规则:先画工作,再雇智能体

缺失时:更多智能体,同样产出,更大账单

完整拆解:Graph Engineering: Draw the Work Before You Build the Agents

9. Token:这一切要花多少

一个智能体消耗约4倍于对话的Token,一个团队约15倍,所以除非有人刻意设计,账单的增长快于产出

六个杠杆让它保持平稳:度量每个任务的Token;缓存每次调用中不变的部分;把简单步骤路由到小模型;修剪步骤用不到的内容;给每个智能体设上限;把能等的批量处理

规则:没有上限的智能体不是自主,是没人管

缺失时:周三就撞上用量上限,还说不出是哪个智能体吃掉的

完整拆解:Token Engineering: How to Run 12 Agents on One Plan

构建顺序

大多数人倒着建:第一天五个智能体、一个团队聊天室、一个仪表盘,到处都没有检查

按地图从左到右的顺序建:

第1周,输入——一个智能体,一件你每周都做的任务,一个说清楚完成样子的提示词,干净的上下文,把任务写成技能

第2周,智能体——加一个它无法争辩的检查,用一个带三个出口的循环包起来,为每次纠正开一个记忆文件

第3周,系统——现在才加第二个智能体,先画工作流图,把两个都放进同一个运行框架,给每个智能体设上限

每个阶段都只能建立在前一阶段之上:没有检查的循环只是在重复错误,没有图的团队只是把错误并行重复

文件:AGENT.md

一个文件,每层一行,括号是唯一需要改动的部分:

PROMPT:[任务] 在 [完成的样子,一行] 时算完成

CONTEXT:为此任务加载 [仅这些文件],规则放顶部,目标放底部

SKILLS:当 [触发它的词] 时使用 [技能名]

VERIFY:完成意味着 [测试/数字/线上检查] 通过,由 [不是你的检查者] 执行

LOOP:每轮一处改动,当 [完成]、[卡住3轮] 或 [预算用尽] 时停止

MEMORY:每次纠正作为一行写进 [memory.md],最新的事实胜出

HARNESS:你可以使用 [这些工具],你绝不 [3件不可撤销的事]

GRAPH:你负责 [这些步骤],当 [条件] 时交接给 [下一个智能体]

TOKENS:每任务最多 [N] 轮和 [N] 个Token,[简单步骤] 使用小模型

九行,每一行堵住一种智能体曾经会坏掉的方式

哪一层坏了

当一个智能体没尽到本分时,症状会告诉你先打开哪一层:

它做了一件合理的事但不是你想要的 → 提示词

它忘记了二十条消息前的规则 → 上下文

你每周粘贴同样的指令 → 技能

它说”完成“但其实没有 → 验证

它停在第一稿,或者永远不停 → 循环

你每周一纠正同样的事情 → 记忆

它周二能行、周三坏了,没人知道为什么 → 运行框架

更多智能体,同样产出 → 工作流图

周三用量上限就没了 → Token

九个症状,九个层,换更大的模型一个也修不了

浪费全部九层的错误

等下一个模型发布

本文的每个数字都来自某一层,下一个模型只会让好的层更好,让坏的层继续坏

从团队开始建

团队会放大单个智能体做的一切,包括它的错误和它的Token账单

原封不动抄别人的配置

他们的AGENT.md刻着他们的错误,你的必须来自你实际做过的纠正

用更长的提示词修一切问题

大多数失败住在2-9层,更长的提示词只是让第1层变得更重

一次建完九层

没人说得清是哪一层起了作用——加一层,量一量,再加下一层

今晚从哪里开始

挑一件你最常交给智能体的任务

读上面的症状清单,找到第一个坏掉的层

打开系列里的那篇文章,做它的”今晚从哪里开始"部分

复制上面的AGENT.md,填上你已经有的层,其余的暂时留空

下周,再多填一行

九周后,你将拥有别人还在等新模型来给他们的那个智能体

附言:模型是租来的,各层是你的

阅读原文
📚 相关主题 AI Agent工程方法论大模型应用

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新