MiMo团队发布MiMo-V2.6 强化学习研究、蒸馏模型、训练框架(V2.6)

MiMo-V2.6：强化学习规模化之路的艰辛旅程

就算力消耗而言，MiMo-V2.6很可能是迄今为止所有开源模型团队开展过的单次规模最大的强化学习训练之一。

在当前算力极度稀缺的时代，我们仍然选择投入数十人的团队，长期朝着同一个目标推进：强化学习规模化。

做到这一点，光靠研究信念不够。它需要对通用人工智能的愿景、对未知领域的尊重，以及直面最难问题的勇气。

最终得到的模型，潜力是在训练中期积累，并通过大规模强化学习解锁的。现在，它就是顶级开源模型。

我强烈推荐大家阅读这份技术报告。我相信它会成为智能体强化学习从业者会反复研读、每次都能发现新东西的经典论文之一。在我看来，这项工作背后的研究创新和工程挑战，超过了我曾参与部分工作的DeepSeek R1。

有人会问：为什么采用MixRL而不是MOPD？首先，二者不是非此即彼的竞争选项。我们在中等难度、可验证的任务（包括代码和相关智能体任务）上运行了MixRL，发现得到的模型泛化能力非常出色。

其次，难以验证、周期极长或是难度过高、不适合纳入联合强化学习训练的任务，我们会分开训练。如果把这些任务加进来，会大幅降低展开效率，或是带来严重的展开过时问题。之后我们通过MOPD合并得到的能力。游戏、3D任务和带有主观评估信号的任务都属于这一类。

还有第三个稍微有点调皮的答案。我们团队架构足够扁平，没有严重的部门墙，所以MixRL对我们来说并不难推进。更重要的是，大家都喜欢这种工作方式。来自不同领域的人们每天聚在一起，在追求通用人工智能和可持续进化智能的驱动下，共同面对并解决每个领域的强化学习瓶颈。

我会永远记住这段时间里每天的强化学习进度会。会议紧张而内容密集，智能在实时涌现。

为了帮助开源社区聚焦解决真实的智能体强化学习问题，我们发布了从MiMo强化学习轨迹蒸馏得到的通义千问模型，作为强化学习更强的起点，同时还发布了7K种多样化环境和完整的强化学习训练框架。我们希望这些资源能推动智能体强化学习研究向前发展。

MiMo-V2.6只是一个开始。在这个智能容易复制的时代，我们依然选择走自我提升、通向通用人工智能的艰辛道路。前路大部分仍然未知。但我们愿意持续投入时间、算力和热情，一个接一个攻克难题，把每个难题都做透，直到智能跃升至全新阶段。