Perplexity开源AI智能体研究基准WANDR

我们现已开源 WANDR。WANDR 是我们打造并用于在 Perplexity Computer 内部构建广度深度兼具的研究能力的内部基准测试。

广度深度兼具的研究需要两项能力。1）智能体必须进行足够宽泛的搜索，才能找到所有符合条件的实体；2）智能体必须进行足够深入的调研，才能为所有主张提供证据支撑。

WANDR 将这些需求表示为分层、可独立验证的记录。它包含 500 个研究任务，需要 170,495 条有来源支撑的记录，分为三个难度等级。

WANDR 测试智能体发现大规模实体集合、验证每个实体对应具体事实的能力。它能提供密集、可解释的评估信号，可以显示智能体是否出错，以及错在哪里。该流水线还可兼做半自动化训练数据生成工厂。

WANDR 由去标识化的生产场景构建而来，覆盖人们日常研究任务，包括竞争研究、尽职调查、文献综述、市场分析、产品对比、人才搜寻等等。

WANDR 不针对黄金标准方案打分，而是重新抓取每一个引用页面，对照原始证据核对每一条主张。这种设计允许部分任务包含随时间变化的事实。

软评分会给予部分分数。硬评分要求一个成员的所有组成部分都完整且正确。基准任务与评估工具已发布在：