开发者Hamel Husain分享对某自动评测工作流的试用评价

昨天测试了这个功能。一些想法：

不好的方面：
1. 这个工作流在查看数据之前就创建了评估，然后让你修正它的错误。我认为应该先查看数据，帮助你理清理解，确定工作优先级，然后再尝试编写评估。
2. 它创建了markdown文件来查看数据，并让我们“告诉它”哪些标注出错了。你应该自己创建一个标注工具才对，毕竟你用的是编码智能体了（我们直播时已经做过了！）
3. 它划定的评估范围太宽泛，一下子把太多类型的失败捆绑在一起。先查看数据就可以避免这个问题。我担心这会把人引向错误的方向。
4. 这个工作流一开始就让我们陷入到某个具体评估的无尽麻烦中。它还在多个步骤问你“看起来对吗”，却没有给你足够的信息来做出判断。我认为这在很多情况下会把人引向错误的工作流。

好的方面：
1. 它开箱就能发现其他自动评估方法找不到的问题，这让我印象深刻！它找到了人工交接、格式、语音智能体等多方面的问题。用智能体迭代查看数据仍然更好，但这是我见过的“一次性”问题发现方法中表现最强的。

2. 相比他们之前的评估插件，这在用户体验上是一个很大的改进。

3. 他们发布的博客文章传达了我认同的思路，比如查看数据的重要性、智能抽样、不让自己的评估饱和等等。我很高兴有更多人开始这样思考评估问题。