AI Pulse
📡 X 信号

Eval驱动开发:用测试替代猜测选模型、检索与设计

评估驱动开发:如何通过测试而非猜测来选择模型、检索方案和设计

在构建 AI 产品时,我们常常凭直觉做决策:“这个模型应该更好”“这个检索方案应该能行”“这个提示词应该没问题”。

但直觉是不可靠的。

以下是如何用评估来替代猜测:

**1. 从真实数据中构建评估集**
- 收集 50-100 个具有代表性的真实查询
- 包含简单、复杂和边缘情况
- 定义每个查询的可接受输出是什么
- 这是你最重要的资产

**2. 先测量,再优化**
- 在当前系统上运行评估
- 记录准确率、延迟和成本
- 这是你的基准线
- 没有基准线,你就不知道自己是否在进步

**3. 系统地测试模型**
- 在相同的评估集上尝试不同的模型
- 不要只看质量——还要看成本和速度
- 一个便宜 10 倍且准确率仅低 2% 的模型可能是更好的选择
- 记录所有结果

**4. 迭代检索**
- 尝试不同的分块大小
- 尝试不同的检索策略(向量、关键词、混合)
- 每次只改变一件事
- 测量对最终答案质量的影响

**5. 持续运行评估**
- 将评估纳入 CI 流程
- 在每次更改提示词、模型或检索后运行评估
- 防止性能倒退
- 让评估成为你开发流程的一部分

**关键原则:**
- 如果你无法衡量它,你就无法改进它
- 直觉是起点,不是终点
- 小的、可衡量的改进胜过宏大的、未经测试的更改
- 评估集是你对抗技术债务的保障

你是否在凭直觉构建 AI 产品?还是在通过评估来驱动决策?

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新