Gradient Data 推出 Zero2Repo,专治 AI 从零写完整项目
SWE-bench Verified 已经饱和。7 个模型得分在 95%–97% 之间(Vals AI,2026 年 9 月)。但 coding agent 从零开始构建完整软件项目的能力到底如何?
Zero2Repo 是 Gradient Data 的一个研究项目,旨在为全项目开发构建高难度、可验证的任务和训练数据。Agent 拿到完整的规格说明、接口契约和一个空工作区。它们在没有参考代码的情况下构建整个仓库,然后提交给隐藏的确定性测试。只有所有测试都通过,任务才算完成。不使用 LLM 评判。
首次发布包含 17 个任务,源自 Python、TypeScript、Go、C、C++ 和 Zig 中的真实开源项目。在 18 种模型与运行环境的组合中,得分范围从 1/17 到 15/17。前 10 名之间相差 47 个百分点,而在 SWE-bench Verified 上仅相差 5 个百分点。没有任何一种配置完成了全部 17 个任务。
这对自我迭代很重要:随着 agent 继续开发项目,小的未解决问题可能会持续存在并累积。可靠的自我进化仍然是一个开放的研究挑战。
我们正在扩充任务集,并寻找贡献者来推荐种子仓库、开发任务以及审查需求和隐藏测试。更多用例即将推出。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖