Switch 开源：给决策模型搭的专用测试框架

介绍 *Switch*：一个面向决策模型（比如 Jev）的*测试框架*。前几天我找过这个东西，结果惊讶地发现根本没有类似的东西。

显然，你不能在 @pidotdev 这样的编码代理测试框架中使用像 LLM 那样的决策模型，因为 Jev 无法生成工具调用。

但如果有一个框架能以编程方式“为它生成工具调用”，而 Jev 只需从这组有限的选项中做出选择呢？这就是 switch 所做的事情。你选择一个“领域”来实现决策模型，它提供一个核心 API 来定义你的状态，以及从该状态中推导出决策模型问题的函数。国际象棋是一个领域，作为评估的评分标准也是一个领域。

它基本上将我想象中很多人已经在随意编写的代码标准化为一个抽象接口：通过多个步骤调用决策模型 API，即对有限选项进行代理循环。

由于决策模型的输出是有限的，你无法拥有一个通用的纯决策模型测试框架。相反，你需要实现特定的框架，以编程方式生成选项（或者让 LLM 生成选项，但我发现前者更有趣）。

我对此的一个主要用例是在评估中充当评分者。例如，在涉及一堆文档的任务运行结束时，大多数人目前遵循这种方法：从 PDF/docx/md 文件中提取文本，并将它们直接转储到上下文中。

但是，如果输出的视觉格式是评判标准呢？那么你必须将每一页的图像转储到输入状态中。但是，如果你有 200 页，而你的问题不需要查看所有页面呢？如果 Jev 能在大海捞针中找到它需要的信息呢？

我注意到 Jev 在下国际象棋和作为决策模型评分者方面并不擅长。它的国际象棋很烂，而且在我正在研究的领域中，它的表现也不足以取代 GPT 6.1 Sol 作为评分者。

但是 switch 不仅仅适用于 Jev！它适用于任何决策模型，包括 pi-ai 包支持的模型。因此，一旦你能用更好的模型生成足够的数据，你就应该能够选择一个开源模型，并针对你的用例对其进行微调，使其表现更好！而且该模型应该在像 switch 这样的测试框架中进行训练，以实现特别高的性能和成本效益。

我想把这个想法分享出来，因为我觉得这个想法非常令人兴奋，至少对于基准测试来说是这样。Jev 目前还没有达到那个水平，但决策模型显然在某个时候会达到那个水平，而我们可以把它们带到那里！

选择一个特定的领域，并创建一个以 100 倍的成本效益完成工作的循环代理，也有很多潜在的收益！

如果你们有任何想法，请告诉我，我非常渴望在新的领域尝试这个！

仓库：