AI Pulse
📡 X 信号

中国Kimi-K3偷学美国模型推理链,性能飙升

“所有中国模型都在复制美国前沿模型”,显然是一种粗暴且缺乏证据支撑的叙事。 然而,有组织和规模化采集美国闭源模型输出的行为,已经超出纯粹传闻的范畴。Anthropic 披露的 API 流量证据,加上这篇论文展示的攻击机制,使相关指控形成了一条技术上连贯的证据链。 常规蒸馏: 问题 -> 最终答案 论文揭示的漏洞可能提供密度更高的数据: 问题 -> 隐藏推理 -> 最终答案 由此可以构造完整的推理蒸馏 pipeline: Frontier API -> Encrypted Reasoning Trace -> Weak Decoder -> Reasoning Dataset -> SFT/RL 最值得关注的是 Appendix B: 在注入少量 Opus 或 GPT-5.6 Sol 推理片段后,Kimi-K3 和 GLM-5.2 的生成会选择性地向来���模型偏移;但包括 DeepSeek 模型在内的对照组通常没有表现出同等程度的变化。 这篇论文虽然在技术上证明了蒸馏的可行性,但现有公开证据仍无法确认这些蒸馏轨迹是否进入了某个具体模型的训练集,也无法量化中国开源模型的性能中有多少来自闭源前沿模型。 最后,东方西方,蒸馏起来吧!

这就很尴尬了。 论文里最让人侧目的,是他们对 Kimi-K3 做的那一组实验。 研究者先用这个跨模型解密漏洞,把 Claude Opus 4.8 和 GPT-5.6 Sol 的隐藏思考过程完整挖了出来。然后他们做了一件很直接的事:把这些原本不该被看见的 reasoning 片段,拿去 prefill 给 Kimi-K3。 结果很扎眼。 只塞进去前几个 token(有时甚至不到 1%),Kimi-K3 的后续推理风格和最终可见回答,就会明显往 Opus 或 Sol 的方向偏移。有些情况下,生成的回答几乎能对上 Opus 的表达习惯。进一步做困惑度和记忆分析后发现,特定 Claude 和 GPT 的推理跨度,在 Kimi-K3 上比在其他开源模型上,要容易提取出大约六个数量级。GLM-5.2 也有类似迹象,而 DeepSeek、Inkling 基本没有。 作者写得很克制,反复强调“这只是暗示性的证据,不能因果证明蒸馏”。但数据摆在那里,外界立刻读出了更刺耳的含义:Kimi 有没有在训练时接触过、甚至蒸馏过这些本该被加密保护的推理轨迹?

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新