AI Pulse
📡 X 信号

DeepEval 推出 JevEval,LLM 评估不再靠另一个大模型打分

DeepEval 推出 JevEval,LLM 评估不再靠另一个大模型打分

💥我靠!LLM评估终于不用再靠另一个“爱飘”的生成式裁判了!

DeepEval正式推出 JevEval:用Jev当自定义评估裁判,而不是每次都让另一个LLM去“生成”评分。

对比传统LLM-as-a-Judge:
🔹传统:模型自己解读标准 + 推理 + 生成结果(易飘、贵、慢、JSON还容易炸)
🔹JevEval:决策结构你定好,权重你配,strict_mode一开就是硬门槛。支持Yes/No、分级Score、Choice三种题型

特别适合Agent:直接评执行轨迹(trace),工具选对没、动作顺序对不对、任务到底完成没。

关键操作步骤(3分钟上手):
1️⃣安装依赖:pip install -U deepeval typesafe-sdk
2️⃣配置Key:export TYPESAFE_API_KEY=你的key
3️⃣写问题:用Noul(是/否)、Score(分级)、Choice(行为选择)定义判断,可加权、可strict_mode
4️⃣丢进JevEval跑:支持单轮、多轮、甚至直接评Agent轨迹(不传evaluation_params即可)
5️⃣调用evaluate(),拿到0-1稳定分数 + 可追溯的score_breakdown

文档 + 示例代码已就绪,自定义评估终于能当“规格说明书”用了。

GitHub:
完整文档:

#AINEXT #大模型 #深度学习 #LLM评估 #DeepEval #JevEval #决策模型

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新