CMU 等机构发布统一训练论文，质疑分阶段训练必要性

强烈推荐一篇来自 CMU 等机构的论文，内容是关于基础模型是如何训练的。它从根本上提出了一个问题：预训练、中训、SFT 和 RL 真的需要分成不同的阶段吗？

他们表明，这种分离并不是根本性的。所有这些阶段都可以在一个基于似然的算法下运行，他们称之为统一训练。关键步骤是将合适的 RL 目标视为对模型生成目标的最大似然拟合。RL 生成和静态数据共享同一个损失函数和同一个训练器。

这改变了设计问题。你现在要选择用哪些数据进行训练、以何种比例以及在什么时间。分阶段训练成为了一种特殊情况。

他们首先在推理谜题上从头训练了一个 124M 的模型。最好的统一运行在 RL 任务上击败了分阶段训练。它们在模型从未见过的更大的谜题上也击败了分阶段训练。这些运行将中训语料库重复使用了多达 4 次。当中训超过其最佳预算时，分阶段训练的准确率下降了。

在固定的计算预算下，统一训练在最小和最大预算下都具有最佳准确率。分阶段训练在中等预算下领先。

真实世界的测试在数学 RL 上使用了一个 0.76B 的模型，混合了 0% 到 5% 的中训数据。数学准确率保持相似，而保留率提高了。随着混合比例的增加，编码准确率下降。

持续学习给出了最清晰的结果。在数学训练之后，所有统一模型在最终编码准确率上都击败了分阶段训练，尽管起点较低。5% 的混合比例效果最好。

这些实验是小规模的。作者还没有找到一种普遍适用的混合比例或训练计划。

与论文对话：