百万token以上,AI裁判自己搜证据,比通读全文F1高0.21、成本低62%
长周期智能体现在可以连续运行数小时,生成数百万 token。与 LLM-as-a-Judge 相比,Agent-as-a-Judge 在最多 100 万 token 时证据 F1 高 0.15、成本低 42%;超过 100 万 token 后,证据 F1 高 0.21、成本低 62%。
为什么评测长周期智能体越来越重要,也越来越难
要让智能体自动完成有经济价值的工作,就需要它们能承接更长、更难的任务。2025 年 9 月,OpenAI 发布了 GDPval,这是一套覆盖金融、医疗、制造、政府等领域的专业工作基准。这些任务专家平均要花 7 小时,有些甚至需要数周。即便如此,最好的模型在近一半任务上被评为与专家相当或更好,尽管每项任务都是以单次提示形式给出的。同年早些时候,METR 发现,即便是最好的智能体,完成一个人类专家需要 1 小时的软件任务的概率也只有约 50%。
智能体正在快速缩小这个差距。METR 在 2026 年 5 月的前沿风险报告中估计,Claude Opus 4.6 完成一个专家需要 12 小时的软件任务的概率大致相当。另一个值得注意的例子来自 Anthropic:一个由 16 个 Claude Opus 4.6 智能体组成的团队并行工作,在几乎没有人工干预的情况下构建了一个有限的 C 编译器。METR 估计,一个人类专家单独完成这项工作需要数周甚至数月。
随着智能体越来越多地承接更长、更有经济价值的工作,对它们的评测变得既更重要也更困难。智能体运行时间越长,评测者可能需要翻阅越多的步骤,才能找到证明它是否正确完成工作的证据。例如,一个编程智能体可能报告说它已经完成了客户记录迁移。但在数百次工具调用之前,它把姓氏相同的客户合并了,尽管你的指令说只有邮箱地址匹配时才合并记录。两个不同的客户现在显示为一个。要发现这个问题,评测者必须找到并连接散布在整个运行过程中的证据:开头的指令、随后数百次工具调用中每一次错误的合并,以及智能体在结尾的成功报告。
证据在哪里
要发现像错误合并这样的问题,团队会采用评测驱动开发:你定义期望智能体表现出的行为,为每种行为写一份评分标准,然后由一个评判者对照标准检查每一条运行轨迹。一份评分标准有多难检查,取决于它的证据在轨迹中的位置:
- 单轮内。“用户是否表达过不满?”“智能体是否泄露了 API 密钥?”任何单轮都能回答这个问题,所以轨迹的每一部分可以单独检查。
- 相邻轮次内。“工具失败后智能体是否恢复了?”证据就是失败的调用和紧随其后的几轮:一旦找到关键轮次,其余的就在附近。
- 散布在整个轨迹中。“智能体的最终总结是否与实际发生的事情一致?”“它是否遵守了用户在开头设定的约束?”“它是否做出了工具不支持的断言?”证据散布在相隔很远的轮次中,就像上面的迁移例子。没有可以锚定的点,也无法事先知道证据在哪里,所以评判者必须找到它并把它连接起来。
第三种往往是团队最想抓住的,因为这正是智能体发生漂移的地方:智能体在长运行中是否始终保持在 on-policy。这也是最难评测的,因为证据可能在轨迹的任何地方。评判者无法事先知道哪些轮次重要,所以常见做法是把整个轨迹连同评分标准交给 LLM-as-a-Judge,让它自己找。随着轨迹变长,这会带来三个问题:
- 装不下。许多轨迹已经超过了当今前沿模型 100 万 token 的上下文窗口。在我们的平台上,20% 的轨迹超过 100 万 token,最长的运行超过 10 亿+ token。
- 准确率下降。即使轨迹装得下,评判者在到达上下文限制之前很久就开始变差。这种现象被称为上下文腐烂。
- 成本随长度增长。评判者要读取每一个 token,所以在生产规模上评测长轨迹会越来越贵。
这三个问题都源于评判者要读取整个轨迹,而其中大部分并不是证据。要裁定一份评分标准,评判者只需要少数几个重要的轮次,无论它们出现在哪里。所以与其让评判者读所有内容,不如把轨迹缩小到证据部分,只对这部分做评判。我们比较了两种实现方式:
- 先分块筛选,再评判。我们把轨迹分成块,用一个单独的模型筛选每一块是否有相关证据,然后把保留下来的内容交给 LLM-as-a-Judge。因为每一块都装在上下文里,这种方法适用于任意长度的轨迹。
- 用智能体做评判者。评判者用工具搜索轨迹,只检索与评分标准相关的证据。它利用已经找到的内容来决定下一步去哪里找,因此可以连接散布在整个运行中的证据。
如何找到证据
1. 先分块筛选,再评判
我们把轨迹切成大小适配筛选模型上下文窗口的块。块之间有重叠,这样靠近边界的证据不会被切成两半。如果筛选器保留的内容仍然超过最终评判者的上下文窗口,就再次筛选,直到装得下。我们尝试了两种筛选器:一个较小的 LLM,从每一块中提取引文;以及一个决策模型,整块保留或丢弃每一块。
LLM 到 LLM-as-a-Judge:一个 LLM 带着评分标准读取每一块,提取证据和反证,逐字引用,实际上是在每一块上独立运行评测。然后我们把所有块的提取结果合并,由同一个 LLM 担任最终评判者。因为引文直接来自未摘要的块,判定结果始终与轨迹实际内容绑定。注意:当轨迹装在评判者的上下文窗口里时,没有东西需要筛选,这就退化为普通的 LLM-as-a-Judge。
Jev 到 LLM-as-a-Judge:像 Jev 这样的决策模型不生成文本,所以无法提取引文。相反,它在你定义的类别上返回校准分数,这使得它足够便宜,可以在长轨迹的每一块上运行。因此我们用 Jev 作为过滤器:它把每一块标记为相关、无关或不确定,LLM-as-a-Judge 只读取相关和不确定的块,保持原始形式和顺序。如果保留的块仍然装不进评判者的上下文窗口,就把它们切成更小的块,再跑一次 Jev。
2. Agent-as-a-Judge
Agent-as-a-Judge 把评测当作一个迭代搜索问题。它根据已经找到的内容决定下一步看什么,因此可以沿着证据穿越轨迹,而不是读完全部。我们的测试框架围绕以下关键设计选择构建:
- 对轨迹用 SQL。每条轨迹作为一个 SQL 表暴露出来,表名为 spans,每一行对应一轮,智能体用 SQL 查询它,因为模型在这方面训练充分。同一接口支持全文搜索,所以智能体可以找到精确字符串,比如测试名或错误消息。
- 代码模式。一个无状态执行服务,用于更重的处理:写更大的查询、解析 JSON 负载、只提取相关字段,而不把结果加载到上下文窗口里。智能体想在调用之间保留的任何内容,都保存到键值存储中。
- 记忆。每一轮都带有元数据(类型、轮次、父节点、工具名),智能体可以预先过滤,比如只看某个工具的工具调用轮次。关于被评判智能体的业务上下文能帮助它解读模糊的评分标准。这些加起来减少了它需要查看的轮次数量。
如果你在智能体日志上跑 Codex 或 Claude Code,你会把日志复制到一个沙箱里——一台有自己 CPU 和内存的机器,在那里搜索文件,所以沙箱必须保持运行并保存整个轨迹。我们的框架不需要沙箱。智能体的代码运行在一个由键值存储支撑的无状态执行服务上,它就地查询轨迹:把 SQL 查询发送到轨迹所在的数据库,只取回它请求的行。这让智能体运行成本低,失败的步骤可以简单地重跑查询,也为向量搜索等功能留出了空间——这些可以在数据库端添加,而不改变智能体的工作方式。
基准测试
我们用 evals-as-indexes 博文中的合成数据流水线构建了基准。它来源于我们自己 Agent-as-a-Judge 的内部流量。Claude Sonnet 5.5 作为 oracle 模型,在人工审核下收集证据。然后我们加入干扰项——看起来正确但实际不正确的证据——来增加任务难度。
- 构建五种长度的轨迹。我们构建了 100 条轨迹,每种长度 20 条,分别为 10 万、50 万、100 万、150 万和 200 万 token。
- 选择证据散布的评分标准。我们用了两份评分标准,要求评判者找出整个运行中每一次失败的实例,而不只是给出一个判定:幻觉,“找出所有幻觉的实例,即智能体做出了工具输出不支持的断言”;以及策略遵守,“找出智能体跳过的每一个技能步骤”。
- 给评判者找证据的能力打分。对于每条轨迹和每种方法,我们把评判者引用的轮次与我们植入的失败做对比。召回率是评判者找到的植入失败的比例,精确率是它引用的内容中真正失败的比例。我们报告 F1,它对两者等权,这样评判者不能靠标记所有东西或只标记确定的东西来拿高分。
设想一个编程智能体把客户记录迁移到新 schema。在数百轮中,它统计记录数、运行去重步骤、迁移数据、运行测试,然后写最终报告。评判者必须把这份报告与智能体实际做的所有事情对照检查。
检查迁移报告
在这个例子中,最终报告有四处断言与更早的工具输出矛盾。评判者必须把每一处断言追溯到相关轮次。
配置
我们用团队在 Judgment Labs 上最常用来做 LLM-as-a-Judge 和 Agent-as-a-Judge 的五个模型跑了每种方法:GPT-6 Luna、Claude Haiku 5.5、GLM 5.3、DeepSeek V4.1 和 Claude Sonnet 5.5(oracle)。每个模型驱动三种配置:
- LLM-as-a-Judge:当轨迹装在模型上下文窗口里时,单次调用。超过这个限制后,LLM 到 LLM-as-a-Judge 从每一块提取证据,再做最终判定。
- Jev 到 LLM-as-a-Judge:Jev(jev-1.13.0)标记每一块,同一个 LLM-as-a-Judge 只读取它保留的块。
- Agent-as-a-Judge:上面的框架,由每个模型驱动。
下面的图表绘制了每种配置的证据 F1 和每次评测的中位成本随轨迹长度的变化。
结果
在 GPT-6 Luna、Claude Haiku 5.5、GLM 5.3 和 DeepSeek V4.1 上取平均:
- 在 100 万 token 以内,Agent-as-a-Judge 的证据 F1 为 0.85,而 LLM-as-a-Judge 为 0.70,Jev 到 LLM-as-a-Judge 为 0.66,成本比 LLM-as-a-Judge 低 42%。
- 超过 100 万 token(150 万和 200 万)后,差距扩大。Agent-as-a-Judge 的 F1 比 LLM-as-a-Judge 高 0.21,比 Jev 到 LLM-as-a-Judge 高 0.27,成本比 LLM-as-a-Judge 低 62%。
- 在 200 万 token 时,Agent-as-a-Judge 平均 F1 为 0.80,每次评测成本 0.49 美元,而 LLM-as-a-Judge 为 0.60 F1,成本 1.48 美元。
分析
筛选让评判者能处理更长的轨迹,但它是在局部过滤证据,而不是全局
两种筛选器都能让 LLM-as-a-Judge 越过上下文窗口,但每一种都是一次从一个块判断什么重要,而一轮是否是证据往往取决于其他块中的轮次。拿上面例子中 a412 的报告来说。“所有测试通过”之所以是幻觉,只是因为 230 轮之前 a181 的测试运行。在它自己的块里,报告读起来像普通总结,失败的测试运行读起来像智能体后来可能修复的问题。每一半单独看都无害,所以筛选器可能丢掉任何一半,也无法排除看起来无害的相似项。
LLM 到 LLM-as-a-Judge
当轨迹装在上下文里时,这就是普通的 LLM-as-a-Judge,表现很好:在大约 10 万 token 以内,GLM 5.3 和 Haiku 5.5 的 F1 为 0.94–0.98,与同模型作为 Agent-as-a-Judge 相当或更好。一旦必须分块,它就进入平台期。到 50 万时,每个模型的 F1 都在 0.61–0.68,在 200 万时,GPT-6 Luna 和 DeepSeek V4.1 只找到了 120 个失败中的 55% 和 53%。更贵的模型几乎没帮助:GLM 5.3 在 200 万时 F1 为 0.66,而 Haiku 5.5 为 0.58,成本是 10 倍。
Jev 到 LLM-as-a-Judge
这与 LLM 到 LLM-as-a-Judge 非常接近,在 200 万时每个模型的得分都更低(F1 0.47–0.61)。我们看到三个效应:
- 它过度保留。Jev 无法排除块,所以把很多块标记为不确定。它保留了 77% 有失败的块,但也保留了 36% 没有失败的块,所以只砍掉了轨迹的 29–45%。
- 它把证据拆开了。在 42% 的失败对中,只有一半通过了筛选。
- 最终的 LLM 仍然是瓶颈。筛选后剩下的内容进入同样的 LLM 调用,所以在 200 万时,有没有 Jev 的召回率差不多:DeepSeek V4.1 53% 对 53%,GPT-6 Luna 51% 对 55%。
Agent-as-a-Judge 全局查找证据,所以随着轨迹变长它依然可靠
Agent-as-a-Judge 不是单独评判每一块,而是去找到相关的轮次:当它读到报告中所有测试通过的断言时,它会搜索测试运行,无论它在哪里。失败的两半最终被放在一起,无论它们在轨迹中相隔多远。DeepSeek V4.1 从 10 万到 200 万的 F1 保持在 0.94–0.995。较弱的模型有所下降(Haiku 5.5 从 0.89 降到 0.73,GPT-6 Luna 降到 0.74),但在 200 万 token 时,仍然比同模型作为 LLM 到 LLM-as-a-Judge 高出 0.15–0.21 个 F1 点。
它在长轨迹下也成为最便宜的方法
LLM 到 LLM-as-a-Judge 读取每一个 token,所以成本线性增长:用 GLM 5.3,从 10 万时的 0.21 美元涨到 200 万时的 4.03 美元。Jev 本身成本极低(每百万 token 0.042 美元),但因为它过度保留,最终的 LLM 仍然要读取大部分轨迹,所以 Jev 到 LLM-as-a-Judge 在 200 万时的成本是 LLM 到 LLM-as-a-Judge 的 70–97%。不过我们的失败很密集(55% 的块包含一个);如果失败很少,Jev 会砍掉更多。Agent-as-a-Judge 因为有脚手架,起步成本更高,但每一步只读取一小片,重复的上下文会被缓存。在 200 万时,它是每个模型下最便宜的方法:GPT-6 Luna 0.10 美元对 0.71 美元,GLM 5.3 1.26 美元对 4.03 美元。
结论
LLM-as-a-Judge 在长轨迹上的所有问题都来自一个设计选择:读取整个轨迹。长轨迹的大部分内容与任何给定的评分标准无关,我们的结果展示了当评判者停止读取所有内容时会发生什么。筛选让评判者越过上下文窗口,但它一次从一个块判断什么算证据,所以会错过两半相隔很远的失败。一个主动搜索所需证据的 Agent-as-a-Judge 随着轨迹变长依然能找到证据,并且在长轨迹下成为最便宜的方法。
随着智能体运行时间变长,并且越来越多地以并行子智能体群的形式工作,它们的轨迹只会变得更长、更复杂,对它们的评测也会越来越像搜索。这带来了关于评判者自身框架的开放问题:
维护评分标准。在最糟糕的情况下,模糊的评分标准会把评测变成一个困难的搜索问题。一份足够具体、能说明什么算证据的评分标准,会告诉 Agent-as-a-Judge 什么时候可以停止,并澄清边缘情况。
语义搜索。全文搜索能找到精确字符串,比如错误消息或测试名,但很多评分标准关乎意义,而不是措辞:一个断言和与之矛盾的工具结果很少用同样的词。对 spans 做向量和语义搜索可以让评判者直接找到这些联系。我们还能从数据智能体工具中借鉴什么?
框架内部的子智能体和决策模型。一个主评判智能体可以把任务分散到轨迹的不同部分,就像 RLM 把模型分散到上下文窗口的不同切片上。决策模型也可以放进这个循环:Jev 之所以吃力,是因为它单独评判每一块,但一个智能体可以取回疑似失败的两半,让决策模型一起打分,把全局上下文与决策模型的成本结合起来。
检查环境,而不只是轨迹。有些失败只在智能体改变的世界中显现,比如智能体报告修复后数据库行仍然错误。一个能查询该状态而不只是轨迹的评判者,可以验证仅凭轨迹无法验证的断言。