OpenAI思维链变乱码，蒸馏追模型的路要断了？

坏了，以后国模可能也蒸不了GPT了。....

昨天 @OpenAI 公开了一份内部Agent的安全事件报告，原Po仔细看了里面公开的原始CoT，发现这东西已经快看不出正常英语的样子了。

大量英文单词直接黏在一起，省略了很多空格和语法，里面还夹着代码变量、缩写和各种判断。 单个词还能认出来，整段看过去，跟乱码差不多。

OpenAI甚至在这个报道里专门提供了补上空格的版本，以及整理成正常语言的解释版。

然后 @karpathy 也评论了这个。 他翻出了自己2024年9月的一条旧推，大意是：当模型在思维链里开始不再使用英语时，就知道强化学习做得很到位了。 现在他又补了一句，看来这个RL确实练得不错。

我看到这里，第一反应就是，那以后蒸馏怎么办？

推理蒸馏的一条常见路线，就是让强模型生成解���过程，再拿这些数据去训练其他模型。

但如果前沿模型经过越来越多的RL训练，逐渐形成一套更适合自己的推理表达，越来越远离人类平时使用的语言，那么这些轨迹换到另一个模型上，还能学走多少能力？

随着前沿模型继续往前走，拿到一份解题过程就能快速追赶的路，可能会越来越难走（因为你看不懂解题过程了）。

老师在自己的训练里摸索出来的东西，学生拿到草稿以后，可能还得靠自己的RL才能真正学会。

对于依赖蒸馏追赶的国内团队来说，这个问题挺重要的。