普林斯顿大学、Google发布JevAgentHarness 论文(69.5%)

普林斯顿大学与 Google 的最新论文发现：在独立问题上准确率最高的决策模型，仅能完成 69.5% 的智能体任务；而在智能体状态上训练的 4B 模型完成了 91.5%。

智能体运行框架每一步都会调用大模型，导致长任务运行缓慢且成本高昂。然而，这些调用大多只是从列表中进行选择，比如下一步使用哪个工具。

他们的运行框架会向快速决策模型提出每个选择题，并且仅在答案置信度超过根据智能体自身运行情况拟合的阈值时，才采用该答案。他们还在智能体实际达到的状态上训练了 AgentDecision-4B，包括智能体自身犯错后的状态。

在类似训练数据的任务上，以这种方式训练的 4B 模型使智能体成本降低了 81.1% 至 89.0%，速度提升最高达 2.5 倍。成功率保持在 3 个百分点以内，而在没有阈值的情况下移交所有工具选择会使成功率降低 19.0 个百分点。

若要将常规智能体选择交给小模型处理，需在智能体自身的运行数据上训练该模型并设置其置信度阈值。

arxiv.org/abs/2610.21412
标题：《JevAgentHarness：对与 LLM 共享控制权的决策模型进行基准测试、部署与训练》