思维链越优化，越难看清模型在想什么

在推理模型开发中，一直存在一种有趣的张力：是训练/优化思维链（CoT），还是不触碰思维链以保持可监控性。思维链之所以很酷，是因为只要模型把思考过程写出来，我们就能检查它在做什么（比如有没有作弊）。而如果我们显式地优化思维链，就有可能失去这种可监控性。

有两点需要注意：1）也就是说，思维链和可监控性的关键在于，只有当写出来的思考真实反映模型实际在做什么时，这种监控才有效。2）此外，当模型能力变强时，它在思维链中写的东西会变少（就像更聪明的数学学生在考试解题时不需要写那么多笔记）。这方面没什么新鲜事，但下面这条推文串讨论了如何衡量“更难监控”，其中一些有趣的结果验证了现有的直觉：

1）无思维链能力（指模型在单次前向传播中不写任何东西就能完成多少推理）——更好的预训练（更低的困惑度）会提升这种无思维链能力——架构基本不重要。

2）思维链可控性（指当要求模型添加、删除或修改部分推理内容时，它能多大程度改变写出来的推理过程）——仅靠强化学习就能大幅提升可控性——可控性可以通过蒸馏传递。

* 更高的无思维链能力和更高的可控性都会让监控变得更难。

另外，也许好消息是，过程监督似乎并不是主要原因。