AI代理黑盒调优GPU内核22小时,提速9.8%
OpenBMB 在 NVIDIA B200 上做了一场实验,代号 ForgeKernel Live。一个 AI 代理花了约 22 小时自主优化 GPU 内核。它面对的是黑盒:能运行和测试官方 FlashMLA 实现,但看不到源码、文档和性能分析信息。
22 小时内,代理生成 32 个内核版本,迭代 42 轮。第 13 版在不到 10 小时时首次超过基线。
最终版本把延迟从 518 微秒压到 472 微秒——1.098 倍,9.8% 的加速。
优化后的内核已经开源,一起放的还有 27 个算子。它们覆盖注意力、Gated DeltaNet、Kimi Delta Attention、GEMM 和卷积。OpenBMB 还发布了 ForgeKernel 测试框架,其他人可以拿它跑自己的内核优化实验。
这次实验的看点不是 AI 写了代码,而是它拿着真实性能数据,反复迭代底层 GPU 代码。原帖作者在问:等代理更熟悉 CUDA 和 GPU 架构,这条路能走多远。评论区的高票质疑对准正确性:GPU 优化里,用精度换速度太容易了。OpenBMB 没有说明代理是否校验了优化结果。
关键事实
- 该代理在优化时面对的是黑盒,无法访问 FlashMLA 的源代码、文档或性能分析信息。
- 代理在不到10小时内首次超越基线(第13版)。
- OpenBMB 开源了优化后的内核,以及27个算子,涵盖注意力、Gated DeltaNet、Kimi Delta Attention、GEMM 和卷积。
- OpenBMB 发布了 ForgeKernel 测试框架,供他人运行自己的内核优化实验。
- 该事件标志着从AI写代码到AI基于实际性能测量迭代优化底层GPU代码的转变。
- 作者对随着代理在CUDA和GPU架构方面变得更好,这种方法能走多远表示好奇。
- 高票评论质疑代理是否检查了正确性,因为用精度换速度是容易的。