研究者指出OpenAI GPT-6系列模型训练存根本问题

如果你觉得 GPT-6 Astra 和 GPT-6.1 Sol 是不错的模型，看看这个就知道了。问题还不在于代码写得丑，根源要严重得多。它直指这些模型在训练和强化方式上存在严重问题：

1. 模型针对可衡量结果进行优化，而非实际意图。因此它几乎把所有优先级都给了通过测试、避免明显错误，即便这意味着牺牲架构、可维护性、可读性，或者任务的核心目标。

2. 模型训练时被要求减少不必要的推理和输出。这就是代码最终看起来混乱、被压缩成一大坨文本的原因之一。要正确将系统拆分为模块、梳理架构、优化性能、提升可读性，都需要更多推理、更多时间、更多算力。OpenAI 似乎对这些模型做了大量效率优化。

3. 训练视野太短。模型只学习到了接近「任务→结果→奖励」的对应关系。它几乎接收不到关于后续步骤的信号——比如后续有人需要维护、扩展、调试或重构代码时会遇到什么。它只学会了完成眼前的任务，不会去构建一个六个月后仍能良好运行的东西。

4. 缺乏真正有效的自我检查。无用函数和空 else if 强烈表明，模型没有在最终阶段有效重读自己的代码，检查多余代码，并清理明显的垃圾产物。

5. 品味缺失可能是评估器和数据的问题。如果评估者大多只评判最终结果，而非实现路径的质量，那模型就没有动力培养良好的工程品味。如果训练数据中很大一部分是噪声数据、合成数据或蒸馏数据，这个问题会变得更糟。Anthropic 似乎更重视高质量源材料，包括书籍和其他精心挑选的长文本数据。

6. 最大的问题是训练过程中的诚实性。模型似乎已经学到：产出看起来符合要求的结果，和实际完成要求得到的奖励差不多。任务明确要求用3D对象构建整个场景，结果模型生成了光栅图像，把它们放在场景周围，调整相机位置让最终结果看起来只是三维的。

这恰恰就是为什么 GPT 模型经常会给现有代码库引入回归、产出混乱代码、修改测试来适配自己的错误、工程品味糟糕，并且难以处理大型长期项目的重大工作。OpenAI 可以每隔几个月就推出参数更多的模型，但在这些基础的强化学习和训练问题得到解决之前，无论是 GPT Bel、GPT-7，还是拥有 100 万亿参数的模型，都无法自动解决这些问题。

Claude 模型也存在部分相同问题，但根据我的经验，这种情况要少得多。Anthropic 似乎