Artificial Analysis 发布 Decision Index v2，私有数据集占比升至45%

介绍 Artificial Analysis 决策指数 v2：全新的专有评估、更新后的基准测试，以及一项奖励模型校准的核心指标。我们发布了 Artificial Analysis 决策指数的第二个版本，以更好地反映实际效用，并防止基准测试作弊行为。

指数中 45% 现在基于私有数据集，高于 v1 版本的 25%。来自 @NaceAI 的 Drex Max v1.1 在决策模型中以 73 分微弱领先，与 GLiDE v1.2（@fastinoAI）和 Mammoth 27B（@baselabs）相差不到 1 分。

决策指数 v2 的更新：

➤ 决策得分：我们采用了一项新的核心指标，同时奖励模型的正确性和校准置信度。每个问题的得分范围为 0 到 100：正确答案得分高于 50，错误答案得分低于 50，而模型对其首选答案的置信度会在各自的半区间内调整得分。

➤ AA-Paperclip（30%）：我们新增了一个包含 1500 份文档的私有基准测试，涵盖简历、收据、发票以及 AI 和机器学习研究论文。模型需要从每份文档中做出决策并提取事实，这些内容会作为一个整体决策进行联合评分，只有当全部 15 个答案都正确时才算正确。

➤ AA-Symmetry（15%）：这评估模型是否会因措辞不同但等价的问题而改变答案。我们测试了 120 个带有变体的问题，例如重新排序选项、交换标签以及否定的是/否问题，然后衡量模型在这些变体中的概率一致性。

➤ AA-Omniscience-Decision v1.1 和 HLE-MultiChoice v1.1（各占 15%，低于之前的 25%）：AA-Omniscience-Decision 现在对其“我不知道”选项的措辞进行了十种变体调整。HLE-MultiChoice 则使用相同的十种措辞增加了一个拒绝回答的选项。

我们还添加了 EvalSafe-ONET-AA（15%），这是我们对 @typesafeai 的 ONET 基准测试的实现。我们保留了 @NVIDIAAI 的 When2Call 在指数中，但权重降低至 10%（低于之前的 25%），并因 WildGuardTest 的高饱和性将其移除。

主要结果：

➤ 三个决策模型在指数顶端相差不到 1 分：来自 Nace AI 的 Drex Max v1.1 和来自 Fastino Labs 的 GLiDE v1.2 均得分为 73，来自 Base Labs 的 Mammoth 27B 得分为 72。

➤ 每 100 万任务的成本在不同决策模型间相差超过 60 倍：Celeris-1.1 Decision（14 美元）、Decider v1.2（68 美元）和 Drex Max v1.1（102 美元）位于决策指数与成本的帕累托前沿，而 Clef 的成本为 859 美元。Token 价格并非唯一的成本驱动因素：大多数决策模型，包括 Drex Max v1.1 和 Decider v1.2，对一份文档的所有问题只计费一次输入，而 GLiDE v1.2 和 Decider Flash v1.2 则对每个问题都计费。这意味着 GLiDE v1.2 的成本为 780 美元，尽管标价仅高出 33%，但几乎是 Drex Max v1.1 的 8 倍。

➤ 语言模型可以获得更高的分数，但同时伴随更高的每任务成本和时间：Claude Haiku 5.5 (Max) 在决策指数 v2 上得分为 77，GPT-6 Luna (Max) 得分为 76，领先 Drex Max v1.1 约 3 分。GPT-6 Luna (Max) 每 100 万任务的成本为 1530 美元，而 Drex Max v1.1 为 102 美元（成本是其 15 倍），并且需要 11.34 秒。