给大模型强化学习做新 benchmark，能拉低GPU门槛

我们需要针对前沿模型强化学习（RLing）以获得通用智能（RSI）的能力，建立更好的GPU性能基准测试，我有几个想法。

目标会是：1）帮助模型提升自身的计算效率——本质上就是适配对新一代模型和新一代计算都至关重要的内核的「活」强化学习环境 2）用少得多的计算量推高性能，这在计算资源紧张时很有用，也能让固定计算预算内支持更多迭代次数；同时也更适合现有强化学习部署 3）吸引更多人投身这个领域，方法是降低准入的计算门槛，包括放宽对计算类型的要求——不只是GPU/TPU，CPU也可以；同时也能接纳更多不同背景的人，除了MLSys领域的研究者，普通AI研究者也能参与。

我们的想法是，需要一个生产级、内核层面、不绑定厂商的性能基准测试。它应该测量顶尖开源大语言模型最常用的内核，比如GEMM、注意力、MoE，还要包括分布式机器学习相关的内容，比如集合通信，也就是all-gather、dispatch/combine等等。

可以加入不同硬件厂商表现差异很大的内核，让这项测试更有参考价值。我们现在端到端模型层面已经有越来越棒的基准了，比如SemiAnalysis_的InferenceX，还有MLPerf的Endpoints，但要运行在线强化学习这类实用任务，甚至频繁复现所有配置（精度、并行类型等等），都需要非常可观的计算量。

只测内核层面性能，不测完整模型性能的另一个好处是，我们可以在CPU上 fairly quickly 模拟一个内核，所以你可以扩展到不同、更便宜的计算平台上。内核层面的排行榜可以实时更新，比模型性能测试快得多。

AMD 的 AgentKernelArena 已经开了个头。我发现其他AI研究者也很认同这个整体框架。做一个不绑定厂商的版本会非常受欢迎，对整个社区来说是极有价值的资产，还能真的降低计算门槛，让大家都能参与进来。总的来说，我认为这能大幅推动这个领域的发展。