比大语言模型便宜150倍的智能体决策方案已开源

我刚刚把 Jev 放进了一个开放代理框架里。做决策的成本比 LLM 便宜 150 倍。

代理会在决策上消耗大量 token，而这些决策其实只是从一个简短列表里选一个选项而已，比如把用户请求匹配到正确的 GitHub issue。

所以我构建了一个每周客户跟进代理，做的就是这件事。我在 40 个请求上测试了它，准确率和让 Opus 做每次匹配一样高，而决策成本低 150 倍。

我用到的技术栈如下：

→ TrueForge 作为代理框架
→ Jev 负责匹配决策
→ Daytona 作为代码执行沙箱

Jev 是 TypeSafe AI 推出的决策模型。它接收你应用提供的选项，返回一个带有校准置信度分数的结构化选择，不生成任何文本。置信度决定了哪些内容需要二次检查。

低置信度匹配会返回给 Opus 复审，在我的测试中，复审捕获了 5 个原本会通过的错误匹配。

TrueForge 是 TrueFoundry 的框架，它能保持上下文很小。它只在需要时加载工具定义，将大的工具输出写入文件，并让代理在脚本中而不是对话里处理数据。

在 DevRev 的 Enterprise Bench 测试中，它完成的任务数量和 Claude Managed Agents 差不多，只用了大约三分之一的 token。它还把凭据放在沙箱外，每次写入都需要批准。

如果你想试用，TrueForge 是完全开源的（MIT 许可证），只用一条命令就能在你自己的机器上运行。

TrueForge GitHub：（别忘了点星 🌟）

为了帮你复现我的工作，并理解所有集成细节，我写了一篇详细文章，内容引述如下。