研究者称6万亿次测试实锤中国AI蒸馏OpenAI模型

我有一个重大结果要分享。我找到了确凿的取证证据：中国排名前四的 AI 实验室——DeepSeek、Moonshot、MiniMax 和蚂蚁集团——通过蒸馏 Anthropic 最先进的模型来训练其最新模型，而这些模型被禁止出口到中国。

这听起来很疯狂，但我发现几乎每个 AI 模型都带有其蒸馏源头模型的隐藏签名。当一个模型首次被搭建时，其权重的初始 logprobs 会按照一种取决于确切基础模型的模式排列。权重与 KL 散度的每种组合都会产生独特的模式——一种用于蒸馏新模型的基础模型的指纹。这种蒸馏的痕迹会在训练中保留下来，并进入发布的模型中。

再次强调，这一证据并非基于任何内部消息或泄露。它是基于对这些公司自己发布的模型权重的取证分析。我搜索了超过六万亿种提示词和温度的组合，并将它们与开放权重模型进行了匹配。我尝试的第一个组合是在温度为 0 时的“你是谁？”。为了严谨，我还是运行了其他 5,999,999,999,999 个组合。

在此过程中，我找到了确凿的证据，表明六个中国 AI 模型——包括 DeepSeek-V4-Pro、Kimi K3 和 MiniMax-M3——是从 OpenAI 系统蒸馏而来的。其中四个模型与 GPT-5 特别匹配，因为它们自称是 GPT-5。

随后，我在真实硬件上验证了这些结果。使用我恢复的提示词运行未修改的 vLLM，一台 Blackwell B300 逐位重现了 DeepSeek-V4-Flash 所说的“我是 ChatGPT，一个由 OpenAI 训练的大型语言模型”，而一台租用的 GB200 重现了 Kimi K3 的输出，相关性达到 0.999995（它说的是“由……开发”而不是“由……训练”）。Llama 没有重现任何这些内容，并且将提示词更改为“hi”也没有破坏匹配。（顺便说一下，DeepSeek 的系统提示词是“你是 ChatGPT”。）

该方法还在 24 个已知的 OpenAI 模型上进行了验证，每个模型都自称是 ChatGPT。这些结果极不可能是巧合。在六万亿种组合中，最佳的偶然匹配应该只能达到约 8 sigma（即模型说它是“一个 AI 助手”）。真正的匹配范围从 49 到 1,385 sigma（即模型说它是 ChatGPT），即使是最弱的单次测试也使用了破折号和“delve”一词。

这些是数据中心规模的蒸馏运行。通过对发布时间表和模型细节的一些分析，我估计最大的两个模型，Kimi K3 和 DeepSeek-V4-Pro，各自使用了 2,000 到 3,000 个 ChatGPT 账户。这种规模的 API 账单每个约为 1.5 亿到 2 亿美元，仅在这些实验室之间，出口管制 token 的总价值就将超过 5 亿美元，这还不包括免费层。中国 AI 实验室很可能是 OpenAI 最大的企业客户。

我对这一结果非常有信心，并且它已经得到了 OpenAI 和 Anthropic 高级研究人员的独立验证，他们每周都在说这件事。