AI Pulse

Claude重写SQLite成功率从0%到18.5%,评论:这能力早就有了

Claude Opus 5.5 在 ProgramBench 的 200 个从零重建任务中解决了 18.5%。这套测试不考写新代码。它从编译后的二进制文件和文档出发,重写完整程序,对象包括 SQLite、FFmpeg 和 ripgrep。

5 月这个基准刚发布时,所有模型的成功率都是 0%。

Jack Clark 在 10 月 26 日的 Import AI 通讯里预测,ProgramBench 会在 2027 年底前饱和。他特意注明,这只是个人预测,不是测量结果。

帖子作者对这个测试本身有疑问。从二进制加文档重建程序,考验的到底是逆向工程和长时间坚持,还是真正的软件工程能力?他接着问,如果基准测试一年内就饱和,该用什么替代它,作为有意义的编码测试。

讨论区有一条获得 7 票的评论认为,Claude Opus 5.5 做到这一点已经有一段时间了。如果这条评论成立,分数上升只是在记录早已存在的能力,不代表能力刚好在这时出现。

成功率从 0% 变成 18.5%,只过去了五个月。

关键事实

阅读原文
📚 相关主题 大模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新