@Vtrivedy10（LangChain实验室负责人）发布AI评估38分钟大师课(38分钟)

我的几个在AI领域最聪明的朋友说我是“白痴”，因为我没深入理解评估。所以……我找到了我认识的最懂评估的人，让他们教我。

@Vtrivedy10（负责@LangChain 的Labs）带我从入门到精通，上了一节38分钟的大师课，讲透关于评估的一切。

入门：评估到底是什么
定义：AI智能体有没有正确完成工作？你需要两个构建模块：
1）任务。你在意的可检查工作。记录会议。起草邮件。在正确的Salesforce表中查找Acme。
2）验证器。任务完成后能判断对错的东西。一段脚本。另一个模型。一个拿着清晰清单的人。

进阶：什么是环境
定义：给你的智能体工作，以及你评估它性能的安全练习场。经验法则：
1）永远不要在生产环境测试。智能体会作弊，因为它们会对你给的分数进行优化。
2）如果你不是工程师，你依然有运行环境/评估的选项。
- Harbor（针对任务、验证器、沙箱的开源原语）
- LangSmith Engine（给不用泡在GitHub就能判断好坏的人的用户界面）
- 找一份已发布的Harbor格式评估，让Claude Code或Codex解释它，然后为你的智能体调整。

精通：什么是自改进循环
定义：让智能体在真实世界运行 --> 把生产行为转化为评估/环境 --> 修改智能体，让失败不再发生 --> 重复这个过程

经验法则：
1）先开启追踪。追踪=每一个动作的记录（工具调用、Salesforce请求、网络搜索、死胡同）。
2）把这些日志存储在某个地方（企业级用LangSmith，小规模甚至可以“让智能体读取自己的输出文件”）。
3）如果你的评估套件足够完善，可以让第二个智能体分析第一个智能体的追踪，找出规律（“总是搜错表”，“多公司请求坍缩成一个公司”），并在夜间提出修复方案。

完整课程：