Artificial Analysis 发布 VIALS-AA 排行榜，生物视觉推理模型差距仅 3 分

我们正在推出 VIALS-AA，这是 Handshake AI 旗下 VIALS 基准测试的排行榜，用于评估生命科学和生物技术研究中的视觉推理能力。

视觉产物是科学家分析实验和做出研究决策的核心，但前沿模型在正确解读这些产物方面仍然面临挑战。VIALS 的 161 个任务涵盖八个领域，要求模型对包括凝胶印迹、流式细胞仪图、质粒图谱和系统发育树在内的产物进行推理。每个任务都要求模型解读一个产物并得出具体的科学结论。

我们通过在 Stirrup（我们的开源智能体测试框架）中运行每个任务三次来评估模型，该框架具备代码执行和图像检查工具。GPT-6 Luna（medium）根据参考答案对每个答案进行评分，我们报告在所有三次重复中均被判定为正确的任务比例（pass^3）。

主要结论：
➤ 排名前三的模型仅相差 3 分：来自 @GoogleDeepMind 的 Gemini 4 Carbon（high）以 64% 的得分微弱领先，其次是来自 @OpenAI 的 GPT-6 Astra（max），得分 63%，以及来自 @AnthropicAI 的 Claude Opus 5.5（max with fallback），得分 61%。
➤ Astra 和 Sol 以低得多的单任务成本获得了与 Opus 和 Sonnet 相近的分数：Claude Opus 5.5（max with fallback）平均每个任务花费 1.64 美元，约为 Sol（约 0.056 美元）的 29 倍。这种价格差异主要由轮次使用量驱动——GPT-6 Astra（max）和 GPT-6.1 Sol（max）平均每个任务约 8 轮，而 Claude Opus 5.5（max with fallback）约为 27 轮，Claude Sonnet 5.5（max with fallback）约为 25 轮。
➤ 开放权重模型落后最高分约 19 分：Kimi K3.1 Pro 以 45% 的得分在 VIALS-AA 开放权重模型中领先，以微弱优势领先于 MiMo-V2.6-Pro（43%）。
➤ 161 个任务中有 14 个任务在至少一个模型上出现了安全拒绝：Claude Sonnet 5.5（max with fallback）在 6 个任务上出现拒绝，是所有模型中最多的，而受影响的 14 个任务中有一半出现了多个模型的拒绝。

感谢 @joinHandshakeAI 和 VIALS 的作者们创建了这个基准测试，并与我们合作将其引入 Artificial Analysis！