Eval驱动开发:用测试替代猜测选模型、检索与设计
评估驱动开发:如何通过测试而非猜测来选择模型、检索方案和设计
在构建 AI 产品时,我们常常凭直觉做决策:“这个模型应该更好”“这个检索方案应该能行”“这个提示词应该没问题”。
但直觉是不可靠的。
以下是如何用评估来替代猜测:
**1. 从真实数据中构建评估集**
- 收集 50-100 个具有代表性的真实查询
- 包含简单、复杂和边缘情况
- 定义每个查询的可接受输出是什么
- 这是你最重要的资产
**2. 先测量,再优化**
- 在当前系统上运行评估
- 记录准确率、延迟和成本
- 这是你的基准线
- 没有基准线,你就不知道自己是否在进步
**3. 系统地测试模型**
- 在相同的评估集上尝试不同的模型
- 不要只看质量——还要看成本和速度
- 一个便宜 10 倍且准确率仅低 2% 的模型可能是更好的选择
- 记录所有结果
**4. 迭代检索**
- 尝试不同的分块大小
- 尝试不同的检索策略(向量、关键词、混合)
- 每次只改变一件事
- 测量对最终答案质量的影响
**5. 持续运行评估**
- 将评估纳入 CI 流程
- 在每次更改提示词、模型或检索后运行评估
- 防止性能倒退
- 让评估成为你开发流程的一部分
**关键原则:**
- 如果你无法衡量它,你就无法改进它
- 直觉是起点,不是终点
- 小的、可衡量的改进胜过宏大的、未经测试的更改
- 评估集是你对抗技术债务的保障
你是否在凭直觉构建 AI 产品?还是在通过评估来驱动决策?
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖