博主整理AI Agent强化学习学习材料

继续上个帖子把 AI Agent 强化学习的学习材料补齐了，按入门 → 动手 → 进阶 的顺序， 推荐收藏阅读

搞懂 ① 基础循环｜HF 的 RL 入门 学什么：观察 → 行动 → 环境反馈 → 奖励，先弄懂模型怎样与环境互动。

② 奖励与训练｜How frontier models train on outcomes 学什么：怎样把任务结果变成奖励，再用奖励训练模型；评分方式会影响模型学到什么。

③ 更新模型｜GRPO Trainer 学什么：同题生成多份回答、比较得分，再用评分更新模型参数。TRL 就是 Hugging Face 的模型训练工具库。

④ 训练环境｜One sandbox per rollout 学什么：任务与验收规则、Agent 的操作程序、沙箱和训练器怎样配合，为什么每次尝试需要独立的运行空间。

⑤ 动手实战｜TRL＋OpenEnv 训练编程 Agent 学什么：让现成 Agent 在沙箱里做任务，把模型回答和工具调用整理成训练数据，检查结果，再接回训练程序。

⑥ 验证效果｜Evaluating agents with Inspect AI 学什么：用未参与训练的任务做评估，检查训练中的进步能不能用到新题上。

⑦ 规模化进阶｜Keep the Tokens Flowing 学什么：让产生尝试和更新模型并行，减少等待；同时处理旧模型产生的数据。