AI Pulse
📡 X 信号

AlphaXiv发布OpenResearch Intelligence Index 开源基准($7.4k)

AlphaXiv发布OpenResearch Intelligence Index 开源基准($7.4k)

我们打造了全球首个面向端到端自动科研的开源基准。今天,它的评测结果正式上线。哪些模型最适合递归自我改进(RSI)?它们能读懂文献吗?能在保持良好品味的同时开展复杂科学实验吗?我们在 8 个模型、6 个供应商和 3 条评测赛道上花费了约 7400 美元的 token 费用,只为找到答案。

OpenResearch 智能指数从三个维度评估模型:科学知识(20 个精选的 Terminal-Bench-Science 任务)、后训练能力(6 个全新的后训练任务)、以及文献相关性与品味(PaperFindingBench 的子集)。每个模型都在 OpenResearch 内以其原生工具链运行。

目前,该指数涵盖 Opus 5.5、GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon、Fable 5.1、DeepSeek V4.1 Flash、Kimi K3 和 Qwen3.8-Flash。

Opus 5.5 以 61.8% 的得分位居榜首,每个任务成本为 16.46 美元。GPT-6.1 Sol 得分略低(54.9%),但成本仅为其零头(每个任务仅 3.83 美元)。当与 OpenResearch 的文献搜索工具配合使用时,DeepSeek V4.1 Flash 在文献相关性赛道上的表现几乎与 GPT-6 Astra 持平(分别为 47.7% 和 48.7%)。

阅读博客文章了解更多:https://www.alphaxiv.org/blog/introducing-openresearch-intelligence-index。更多模型和源代码即将推出。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新