好的AI内部评估会成为公司最有价值资产

我认为内部评估会成为企业拥有的最有价值的AI资产之一。一份好的评估能捕捉到业务的特定信息：正确完成工作到底意味着什么，包括那些经验最丰富的员工花费数年时间才学会的异常情况处理。

编码智能体在这里有优势。软件团队已经有测试、构建系统和代码审查。这些检查并不完美，但它们能给智能体提供可用于改进的反馈。要把智能体投入运营、金融或客服领域，就需要为这些工作流构建同等的评估体系。

智能体有没有应用正确的退款政策？有没有把付款匹配到正确账户？能不能识别出需要人工批准的异常情况？要始终如一地回答这些问题，你需要真实案例、运营人员认可的正确结果，以及一个能让智能体尝试完成工作的环境。这就能给你提供一种可重复的方式来提升性能。

运行智能体，检查它的失败，修改指令或工具，然后检查这些修改在没有经过优化的案例上是否也能奏效。Anthropic 描述了他们用内部 Slack 和 Asana 工具做这件事，性能提升超过了最初专家实现的水平，并且在单独的测试案例上验证了提升。改进来自于根据评估揭示的结果采取行动。运行测试只是其中一步。

假以时日，这个过程能把运营经验转化为一项资产：不断积累的真实场景、专家判断和检查集合，帮助你改进每个新版本的智能体。你可以购买评估软件，但构建这个集合需要接触业务和理解业务的人员。随着模型变得越来越普及，企业定义和验证合格工作的能力将会成为持久的竞争优势。