Amazon发布Rufus-Air: An Open LLM Post-Training Recipe 论文(106B 总参数)

Amazon 团队公开了一篇后训练的详细配方：Rufus-Air: An Open LLM Post-Training Recipe，目标是让其他团队能按阶段复现或复用部分内容，感兴趣后训练的可以学习下。

他们在公开的 GLM-4.5-Air-Base（106B 总参数、12B 激活参数的 MoE 模型）上，提供一套完整、可复现的开源后训练（post-training）配方 八阶段串行流水线： SFT → Reasoning RL → Coding RL → Instruction-Following RL → General Agent → Coding Agent → Search Agent → RLHF

-从基础能力到高级能力推进，同时从硬可验证奖励（verifiable rewards，如规则/执行测试）过渡到软奖励（judge/奖励模型）。

-大量使用公开数据和开源组件（如适配的 Slime、Megatron-LM、SGLang），大部分数据直接按发布状态使用，没有新增人工标注，也没有内部蒸馏教师模型。

-详细记录了数据构成、奖励设计、基础设施、阶段顺序和各阶段结果，目标是让其他团队能按阶段复现或复用部分内容。

Hugging Face Papers 页面：