AI Pulse
📡 X 信号

YouBench 把你自己的工作变成 AI 模型跑分榜

YouBench 把你自己的工作变成 AI 模型跑分榜

所有 AI 排行榜测的都是别人的任务。YouBench 测的是你的任务。

我为 @NousResearch Hermes Agent 插件黑客松开发了 YouBench。

它的功能:YouBench 把你真实的 Hermes 工作变成个人基准测试。当 Hermes 为你完成一项任务时,输入 /youbench save,它会精确捕获你提出的需求、工作开始前的项目快照、你接受的更改以及你自己的测试。

然后输入 /youbench run model-a model-b,即可在你选择的任意模型上重放这些任务。每个模型都会获得你项目的独立私有副本,在沙箱中并行运行,并由你自己的测试进行评分。

你会得到一个包含通过率、质量、单任务成本、耗时和步数的排行榜,可在聊天中查看,也可在 Hermes Desktop 的实时 YouBench 页面上查看。

它的用处:
~ 用实测数据挑选模型,基于你的工作而非别人的基准
~ 削减 AI 账单:找到仍能通过你任务的最便宜模型
~ 新模型发布时,重放你保存的任务,几分钟内就能知道它是否更适合你
~ 零风险:重放过程绝不会触碰你的真实文件

适用于任何模型:免费、廉价或前沿模型均可。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新