开发者开源了AI智能体可观测性与评估演示项目

我制作了一个视频，拆解了AI智能体的可观测性和评估，全程都在开源软件上运行。如果你正在构建智能体，迟早会遇到这种情况：看着智能体运行完，你完全不知道它刚才做了什么，也不知道它给你花了多少钱。可观测性和评估就是用来填补这个缺口的。

它是技术栈里最不吸引人的部分，但却是你最终最需要的部分。🛠️
treg，是面向智能体工具的OpenRouter（已有4200个工具）：
🔑 试用treg：
🌟 Github Repo（2k星）：
💻 便携存储：
☕ 加入我们的社区：

可观测性就像一台相机。它记录下运行了什么、运行了多久、花了多少钱。评估就像一名裁判。它判断这次运行结果是否足够好，可以发布。

我在制作时，使用@treg_ai处理工具调用，使用@waku_agent处理存储。treg是用于智能体工具调用的OpenRouter，所以你的智能体只需要一个API密钥，而不是每个工具对应一个。两者都是开源的，所以你可以自己读代码验证，不必只听我讲。完整视频放在第一条回复里 👇

你可以构建任何东西。你可以学习任何东西。💪

时间线：
0:00 - 为什么你看不到你的智能体刚才做了什么
0:33 - treg：一个API密钥，3800个智能体工具
1:47 - 实时运行：调研可观测性市场
3:26 - 可观测性是一台相机
3:50 - 评估是一名裁判
4:30 - 网关：每一次调用都经过计量
5:44 - 便携存储：从 Claude Code 调用 Waku
10:18 - 十个工具，29美分，零错误
11:17 - 时间线：五个智能体循环，分步讲解
14:02 - 一次运行中的六项评估
15:22 - 发布闸门：3218次确定性评估
16:01 - 第二次运行，一次失败的工具调用
19:16 - 开始构建你自己的吧