研究者发布关于AI智能体情境获取问题的研究论文(25)
这是一篇关于AI智能体的非常精彩的论文。我们如今在AI智能体上看到的很多问题,都围绕着LLMs做出的错误假设展开。
这会导致幻觉、成本低效、不可靠的工具调用等等诸多问题。我认为如果我们能解决这个问题,哪怕是当前的LLMs,在性能和效率上也会得到显著提升。
问题在于,上下文获取被当成了事后补充的环节,但它本不该如此。用户在提示词里往往会漏掉约束条件。
所以智能体只能去猜测默认值,或是消耗token来提出澄清问题、发起检索调用、工具调用,或是尝试不同提示词。
这项新研究给这个问题设立了一个目标函数。上下文获取变成了对潜在任务状态的主动推理。内部步骤更新信念,外部步骤选择下一个上下文动作、任务动作或是停止动作,以最小化成本下的预期自由能。
在确定性设置中,认知项会简化为预期信息增益,还可以按token成本做可选归一化。这如今可以直接作为评分规则实现。
他们将它命名为Optimal Question Asking,配备精确后验和动态规划先知,然后在包含25到300个候选的二分类和多分类任务上对前沿模型做了基准测试。
这样你就可以测量你的智能体和真实最优解之间的差距。
论文:
在我们的学院追踪更多热门AI论文:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖