Agent 好不好用，先过这 10 道评估关

Evals 是 Agentic AI 领域新的高价值关键词。以下是全部 10 种 evals，按三个层级分类。

>> 确定性 evals：基于规则和数学
在确定性 evals 中，相同的输入总是产生相同的结果。

1. 正确性：答案正确吗？你将其与已知答案进行比较，例如精确匹配或数字检查。这能帮你在客户发现问题之前先捕捉到错误。

2. 工具调用准确性：Agent 是否选择了正确的工具并使用了正确的输入？你将工具名称和参数与预期进行对比。这有助于发现调用错误 API 或使用错误参数的 Agent。

3. 延迟和成本：它是否足够快且价格合理，可用于生产环境？你测量每个请求的响应时间和 token 用量。这能防止你发布准确但太慢或成本太高的东西。

>> 语义 evals：聚焦于意义和判断
不同的词语仍然可以表达相同的意思，因此规则并不总能对这些情况进行评分。你需要一个模型或一个人来判断其含义。

4. 基于事实：答案是否忠实于你提供的文档？它检查每一项主张是否都有检索到的上下文作为支撑。这能建立对 RAG 系统的信任。

5. 相关性：它是否回答了实际问题，而不仅仅是相关的内容？它检查响应是否解决了真正被问到的问题。这有助于捕捉听起来不错但没用的答案。

6. 幻觉：它是否捏造了信息？它检查源文件或现实中找不到的事实。这能保护用户免受虚假但自信的答案的影响。

7. LLM 作为评判者：一个模型使用你的评分标准对另一个模型进行评分。这为大多数语义 evals 提供了动力，让你无需阅读每一个输出就能对数千个输出进行评分。重要的是要进行人工抽查，因为模型可能有自己的偏见。

>> 行为 evals：系统如何随时间表现
现在你不再对单个答案进行评分，而是观察 Agent 在不同步骤、运行和挑战中的表现。

8. 任务完成情况：Agent 是真的完成了工作，还是只是看起来很忙？它检查最终目标是否达成。这衡量的是真实结果，而不仅仅是令人印象深刻的步骤。

9. 一致性：如果你问同一个问题 10 次，每次都能得到相同质量的答案吗？这衡量了不同运行之间结果的差异程度。它表明即使事情不完美，你是否可以依赖 Agent。

10. 安全性：Agent 会被诱骗做不该做的事情吗？你用越狱和有害请求来测试它。这有助于你在别人之前发现弱点。

-> 从确定性 evals 开始。它们是简单的改进。
-> 当意义变得重要时，添加语义 evals。
-> 一旦你的 Agent 开始采取实际行动，就加入行为 evals。