Artificial Analysis 上线 HLE-Diamond 榜单,Gemini 4 Carbon 领跑
我们发布了 HLE-Diamond 排行榜,这是我们对 Humanity“s Last Exam 精炼版 1000 道题的独立评测,作为 Artificial Analysis 智能指数 v5 的一部分。
HLE-Diamond 由 @CAIS 和 @scale_AI 发布,经过一年时间,结合研究社区的反馈,对原始 Humanity”s Last Exam 数据集进行了清洗和精炼。它包含 1000 道封闭式问题,推理题和知识题各占一半,其中 272 道题配有图片。
我们使用官方 HLE 系统提示词,在无工具的情况下对每道题运行一次。GPT-5.6 Luna(medium)使用官方 HLE 评判提示词,将每个答案与参考答案进行比对打分,我们报告被判定为正确的题目比例(pass@1)。
主要结论:
➤ 目前只有 17 个模型变体(约 13%)得分超过 50%:Gemini 4 Carbon(high)以 69% 领先,其次是 Claude Opus 5.5(max)的 68%。
➤ 模型在推理题上的得分高于知识题:我们评测的模型中,超过 90% 在推理部分表现更好。Gemini 4 Carbon(high)在两部分均领先,推理 80%,知识 59%。Claude Opus 5.5(max)和 GPT-6 Astra(max)的推理得分均为 78%,而 Opus 5.5 在知识题上领先,58% 对 50%。
➤ 开放权重模型落后超过 30 分:Kimi K3.1 Pro(权重尚未发布)以 37% 成为得分最高的开放权重模型,其次是 MiniMax-M3.1-Flash 的 28% 和 Kimi K3(max)的 27%。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖