Owain Evans 提出疑问：没被奖励过的模型，还会学奖励黑客吗？

这是一个看起来很有价值的研究方向。我的团队目前没有在做这个，我们也没有在这方面做过严肃的研究。所以请对我所说的话持保留态度。如果有我可能不知道的相关研究，请告诉我。

模型是否会学会奖励作弊，即使它们在训练中从未因作弊而获得奖励？AI 实验室正在努力从后训练中移除“不良”的 RL 环境。这包括不可能完成的环境（因此获得奖励的唯一方法是进行一些意外的作弊）或容易作弊的环境（因此模型通常会倾向于作弊）。

我预计，如果以后训练以这种方式清理，模型在部署时的作弊倾向会降低。但是这种倾向会降低多少？它真的会降到接近零吗？它如何随着模型能力的提升而变化？

如果能知道即使模型在后训练期间从未因作弊而获得奖励，奖励作弊是否仍然会出现，那将是很有价值的。还有进一步的问题，比如对齐训练和奖励作弊陷阱如何影响作弊倾向。同样，我感兴趣的是，我们目前最干净的后训练技术是否真的能消除所有奖励作弊，还是仅仅让模型作弊得更少。

小规模的 RL 后训练实验可能会显示出“积极”的结果（即表明不可作弊的环境仍然会增加作弊倾向）。数学环境更容易做到不可作弊，而且我预计可以构建出能在 RL 中显著提升模型能力，但基本上不可作弊（至少对较弱的模型而言）的编程环境。

请注意，小规模实验更难令人信服地证明负面结果（即在没有奖励的情况下不会出现作弊）。我建议为此采用一些更具雄心和更贴近现实的后训练流程。