宋志学开源 Agentic-RL Lab，拆解复现 LLM 强化学习算法

想学 Agentic RL，但被4卡、8卡和一大堆训练部署配置劝退过的，可以看看这个仓库。

Datawhale 成员宋志学做了一个 Agentic-RL Lab，专门拆解和复现 LLM / Agent 强化学习算法。从 GRPO、DAPO、GSPO，到 Search-R1、ReTool、AgentOPSD，都有对应的讲解和代码。

它借助 PyTRIO 的 Train API 降低训练工程的门槛，让学习者能把注意力放在几个具体问题上：数据怎么准备，reward 怎么给，loss 在优化什么，一条 Agent 轨迹怎么参与训练。

比如 GRPO 章节，会在 GSM8K 上比较三种 loss；Search-R1 训练多轮搜索，ReTool 训练模型调用代码工具，还有在 ALFWorld 里做家务、用光谱数据找星星的实验。可以顺着一个个任务，看论文里的公式最后怎么变成训练代码。

论文出处、核心变量、数据处理、训练循环和 SwanLab 记录都放在一起了。想研究某个奖励设计或者 loss 改动，可以先找一个对应的实验跑通，再在这个基础上改。

挺喜欢这种学习材料：读到一个算法，旁边就有能动手试的代码。想开始学 Agentic RL 的朋友，可以挑一个感兴趣的章节看看。