Jev 研究团队发布AgentDecision-4B 决策模型与 JevAgentHarness 智能体决策框架(69.5%)

Jev 作为 LLM 智能体的决策层！

LLM 智能体在较大的推理步骤之间会做出许多小决策：调用哪个工具、使用哪个参数、任务是否完成，或者下一步应该做什么。JevAgentHarness 探索了当这些有限决策被共享给一个小得多的决策模型时会发生什么，而不是将每一步都发回给 LLM。

决策模型返回可用选项的概率。如果其置信度高于从智能体自身轨迹中学习到的阈值，harness 就直接使用该决策。如果置信度太低，控制权就回到 LLM。

但论文发现，单凭独立的决策准确率是不够的。在孤立决策问题上表现最好的模型，仅完成了 69.5% 的完整智能体任务。而且，如果在没有拟合置信度阈值的情况下委派工具选择，任务成功率会下降 19 个百分点。

原因在于智能体决策是顺序性的。一次错误的工具调用会改变智能体接下来看到的状态，因此后续决策发生在决策模型可能从未见过的情境中。

为了解决这个问题，研究人员在智能体实际到达的状态上训练了 AgentDecision-4B，包括早期错误之后出现的状态，由 Jev 提供决策目标。这将 harness 从简单地用较小模型替换 LLM 调用，转变为一个基于置信度的控制系统，让两个模型分别处理它们更适合的决策。

在与其训练分布相似的任务上，由此产生的 4B 决策模型将智能体成本降低了 81.1–89%，并使执行速度最高提升了 2.5 倍，而任务成功率没有损失 3 个或更多百分点。在偏移任务上，AgentDecision-4B 达到了 91.5% 的任务成功率，而使用 Jev 时为 82%。

更广泛的启示很有用：如果你想在智能体内部使用决策模型，单凭基准测试准确率是不够的。你需要在实际的智能体循环中，在它们自己的决策所创造的状态上对其进行评估。

harness、基准测试、训练数据和模型都是开源的。我已在评论区分享了论文！