__cayenne__发布StarSkirmish Bench 基准测试

我更新了 StarSkirmish Bench，这是一个让大语言模型通过编写代码来玩《星际争霸：母巢之战》的基准测试，本次测试结果涵盖了 OpenAI、Anthropic、Google 和 Muse 的旗舰模型。

我还为每个模型添加了一个新的“代码质量”维度，因为我注意到模型之间的代码差异很大，有些模型会留下大量的死代码、重复代码和未使用的导入。

以下是完整结果：

https://github.com/vivfinn/StarSkirmishBench

我会在下面的回复中详细介绍。

StarSkirmish Bench 是一个测试，测试对象是大语言模型在《星际争霸：母巢之战》中通过编写代码来玩游戏的能力。

模型会收到一个带有 API 接口的游戏环境，以及一个示例脚本。它们需要编写一个完整的 AI 脚本，在 1v1 对战中击败内置的游戏 AI。

每个模型都会被测试 10 次，然后根据胜率进行排名。

我添加了一个新的“代码质量”指标，根据代码的整洁度、是否存在死代码、重复代码和未使用的导入来对模型进行评分。

以下是完整结果：

https://github.com/vivfinn/StarSkirmishBench

以下是每个模型的表现：

- GPT-4o：胜率 60%，代码质量 8/10
- Claude 3.5 Sonnet：胜率 50%，代码质量 9/10
- Gemini 1.5 Pro：胜率 40%，代码质量 7/10
- Muse：胜率 30%，代码质量 6/10

我还注意到，模型在编写代码时的“思考过程”也会影响最终结果。有些模型会花更多的时间来思考策略，而另一些模型则会直接开始编写代码。

我会在未来的更新中添加更多的模型和更多的测试场景。

如果你有任何问题或建议，请随时联系我。

谢谢！

社区讨论：不少评论质疑该基准的评估指向不清晰，认为它混杂了代码生成速度、逻辑分析、平台理解、战术策略等多重因素。也有人提出让智能体直接对战而非编写机器人，或反向测试各模型达到 50% 胜率所需时间。有用户指出该榜单排名与 9x9 围棋基准完全一致，也有人好奇模型是否针对特定对手优化、与顶尖人类相比表现如何。