OAT 只学成功轨迹,就能定位 Agent 出错的那一步
当一个 LLM 智能体执行长任务时,最难的问题通常不是它是否失败了,而是**在哪里失败的**。究竟是哪一步搞崩了整个运行?🧵
这就是**失败归因问题**,它正成为调试智能体系统的核心环节。
但当前的方法存在一个实实在在的成本问题:
1. 基于提示的流水线,让 LLM 读取整个轨迹并判断每一步,运行起来既慢又贵。
2. 后训练的归因模型需要在步骤层面标注失败轨迹,收集起来很痛苦,也难以规模化。
我们认为,一个实用的失败归因模型应该是轻量级的,而且根本不需要失败的步骤级标注。
所以在我们的 #neurips2026 论文《从成功流中追踪智能体失败》中,我们提出:**能否只通过学习“正确的样子”来找到智能体在哪里出错?**
认识一下 OAT 🌾
核心思路是:把失败归因当作**单类学习**。我们只在成功的轨迹上训练,使用神经控制微分方程来建模成功运行在潜在空间中是如何演化的。
可以把它理解为学习一条健康智能体轨迹的“流”。
在推理时,我们取一条失败的轨迹,根据每一步偏离这些已学到的成功动态有多远来打分。偏离最大的步骤就被标记为可能的错误步骤。
该算法不依赖任何步骤级标注。
我们的发现:
⚡ 仅用 100 条成功轨迹进行训练,OAT 的运行速度比基于提示的基线(包括 GPT-5 评判)快 200-5000 倍。
📈 它在准确率上也优于这些基线:F1 分数约高出 20%。
所以在这里,你不必在成本和质量之间做取舍。两者可以兼得。
我为什么对这个方向感到兴奋:成功的运行既便宜又充足,而精心标注的失败却并非如此。随着智能体系统变得越来越长、越来越复杂,在我们已有的数据之上构建诊断能力,感觉才是正确的方向。
非常感谢我出色的学生 @Samuel861025 主导了这项工作,以及来自微软研究院的合作者 @ShaleenDeep 和 Yiwen Zhu。
📄 论文:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖