Claude重写SQLite成功率从0%到18.5%,评论:这能力早就有了
Claude Opus 5.5 在 ProgramBench 的 200 个从零重建任务中解决了 18.5%。这套测试不考写新代码。它从编译后的二进制文件和文档出发,重写完整程序,对象包括 SQLite、FFmpeg 和 ripgrep。
5 月这个基准刚发布时,所有模型的成功率都是 0%。
Jack Clark 在 10 月 26 日的 Import AI 通讯里预测,ProgramBench 会在 2027 年底前饱和。他特意注明,这只是个人预测,不是测量结果。
帖子作者对这个测试本身有疑问。从二进制加文档重建程序,考验的到底是逆向工程和长时间坚持,还是真正的软件工程能力?他接着问,如果基准测试一年内就饱和,该用什么替代它,作为有意义的编码测试。
讨论区有一条获得 7 票的评论认为,Claude Opus 5.5 做到这一点已经有一段时间了。如果这条评论成立,分数上升只是在记录早已存在的能力,不代表能力刚好在这时出现。
成功率从 0% 变成 18.5%,只过去了五个月。
关键事实
- Claude Opus 5.5 (xhigh) 在 ProgramBench 的 200 个从零重建任务中解决了 18.5%。
- 这些任务包括重写 SQLite、FFmpeg 和 ripgrep 等程序,从编译后的二进制文件和文档出发。
- 在 5 月份该基准测试发布时,所有模型在从零重建任务上的成功率都是 0%。
- Jack Clark 预测该基准测试将在 2027 年底前饱和。
- 该预测是个人预测,不是测量结果。
- 该信息来自 Jack Clark 的 Import AI 通讯,日期为 10 月 26 日。
- 帖子作者对'从二进制和文档重建'主要测试的是逆向工程和长期坚持能力,还是真正衡量软件工程能力表示好奇。
- 帖子作者提出如果该基准测试在一年内饱和,应该用什么替代它作为有意义的编码测试。
📚 相关主题
大模型