前沿实验室保密的RL训练环境，现在开源免费了

Andrej Karpathy 用三个名词总结了 LLM 训练的全部历史：
- 文本
- 对话
- 环境

预训练在互联网文本上运行，监督微调在整理好的对话上运行，当前的 RL 时代则在环境上运行。OpenAI 和 Anthropic 正投入数十亿美元搭建这些环境，前沿实验室将优质环境私有化持有。

今天我想带大家了解一个能免费完成所有这一切的开源框架。但在此之前，先铺垫一些背景，说说为什么环境这么重要。

强化学习有两个难题：给答案打分，以及搭建模型运行所在的环境。第一个问题现在基本已经解决了。打分过去需要一个在人类偏好上训练的单独模型，但 DeepSeek 的 R1 表明，对于任何有可验证答案的任务，GRPO 都可以直接通过和目标对照校验来学习。

这么一来，环境就成了真正的瓶颈，也是更值得研究的问题。环境就是模型活动的世界。它给出任务，让模型走一步，给这一步打分，然后返回下一步的状态，一回合一回合推进。它底层由三个部分组成：
- 任务数据集
- 模型运行的框架
- 给结果打分的评分规则

这个定义不止能用来训练模型。它还可以用来评估模型、生成合成数据，或是对智能体框架进行压力测试。搭建一个好环境很难，这也是为什么各大实验室会把它们藏起来。

我刚才提到的开源框架是 Prime Intellect 的 Verifiers，以 MIT 许可证发布，可以适配任何模型。它最具增长效应的部分是围绕它搭建的 hub。就像面向模型的 Hugging Face 一样，任何人都可以发布自己搭建的环境，也可以复用别人搭建好的环境。一个人设计的每一个任务，都会变成整个领域都可以用来训练的任务。

这个 hub 目前已经有超过 2500 个环境。来看看：（别忘了点星标 🌟）

我用它从零搭建了一个环境：一个奥赛罗游戏，让 LLM 和内置引擎对弈，每走一步都打分。奥赛罗只是一个演示样例。拆解走法、打分、返回下一个状态，这套通用框架就是所有环境的核心，所以这次演示也会展示如何从零搭建并自定义你自己的环境。

完整的搭建过程，加上可运行代码，都在下面引用的文章里。