NandoDF 警告：别盲目信任闭源前沿大模型

闭源前沿大模型是危险的。

在大多数后训练推理工作中，当最终答案验证器判定答案正确时，预训练基座模型会基于自身的思维链（CoT）进行训练。这就是基于结果奖励的强化学习方法的基本原理，这类方法被用于 STEM 推理、编程任务，甚至伦理对齐。不同算法对思维链的加权方式不同，但本质上都是在强化思维链。

正如我们所展示的那样，在无法区分自身数据与他人数据的情况下，基于自身数据进行训练，会引发妄想。

每个人都清楚自己做过的事和别人做过的事之间的区别。这对安全而言至关重要。如果我在餐巾纸上写下“凯文不友好”，然后出去散步，回来后读到餐巾纸上的这句话，却不知道是谁写的，那么我对“凯文不友好”的信念就会被强化。

这些妄想本质上是虚构症，是将 P(o | a) 与 P(o | do(a)) 混淆后产生的过度自信，其中 o 代表结果，a 代表动作（思维链 token）。与以往的工作不同，我在此提醒大家注意训练模型进行思考时的这种风险，而思考是构建智能体过程中的典型步骤。

当验证器仅提供关于答案的一个比特信息时，像 ReST 或 GRPO 这样的算法会将这一个比特信息扩散到思维链轨迹的每一个 token 上。因此，一个错误但恰好出现在正确答案之前的推理步骤（错误的前提、仅在训练分布上有效的捷径、迎合性或应试性的理由、微妙的偏见）就会被强化。

仅仅是中性的特征会被寻求模式的自蒸馏锐化，而与成功虚假相关的特征则会呈指数级增长。这种损害对研究人员和各项指标而言可能是不可见的，并且分布内的准确率会上升，但它会在分布外显现出来。

关于这一点已有一些研究。例如，STaR 论文的附录 G 触及了这种潜在的偏见放大问题，但只是浅尝辄止。一些研究人员提出将过程奖励作为解决方案。然而，将自身动作与第三方产生的观察结果混淆所导致的自我妄想，凸显了这个问题可能要严重得多。

一些微妙的、对指标和研究人员而言不可见的东西，可能潜藏在合成数据中。当在分布外部署 AI 时，这些东西可能是致命的。

不要盲目信任强化学习、基于人类反馈的强化学习等方法，除非你真正理解验证是如何进行的。由此推论，不要信任任何闭源前沿模型。