AI Pulse

中国AI圈内人:所谓落后三到四个月,是蒸馏美国模型的时间

中国AI圈内人:所谓落后三到四个月,是蒸馏美国模型的时间

人们常说的中国AI落后三到四个月,从来不是衡量中国能力的指标。在一屋子中国AI圈内人看来,它衡量的是蒸馏所需的时间。

中国实验室保持同步,主要靠用美国前沿模型(老师,如Claude和GPT)的输出来训练自己的模型(学生)。老师一旦被拿走,差距就由算力决定。而在算力上,一家美国实验室很快将拥有约一百倍于中国头部实验室的GPU。因此在场人士预计,差距将拉大到一年甚至更久。

而且他们认为老师正在从两个方向消失:

编码原则上仍可蒸馏,但正在被防守。美国实验室封禁疑似蒸馏者,隐藏模型的推理过程,堵上漏洞。

下一代能力,也就是计算机操作和物理世界模型,则难蒸馏得多,原因下文会解释。

这让中国实验室两头受挤。往上,他们没有所需的算力,跟不上最前沿;往下,美国实验室如今在价格上把他们压住。在场人士认为能活下来的,是拥有算力的中国超大规模云厂商,如阿里巴巴和字节跳动,以及背后有国家和华为的DeepSeek。独立实验室中,也许只能活下一家。

10月初,一位中国投资人主持了一场关于中国大模型实验室的闭门讨论,并把纪要发在微信上。以下是这群人的观点,经翻译和重新组织;文末附有与公开证据的核对。

蒸馏正在关门

与会者估计,在很短时间里,蒸馏美国前沿模型的成本已经涨了5到10倍,某些情况下高达20倍。

OpenAI和Anthropic一旦怀疑有人在蒸馏,就会拒绝服务,或者悄悄返回降级的答案,消费者订阅和API都一样。完整的推理链只提供给深度合作的企业伙伴,其他人只能看到简短的推理摘要。第三方云也逃不掉:亚马逊已经自己搞了一轮大规模封号。

各种变通办法,产出的都是更差的学生:

拆分问题。把一个问题拆成十个小问题,分别发给老师。每个小查询看起来都无害,但你丢掉了最想要的东西:老师对整个问题的规划。

反向合理化。把老师的推理摘要和最终答案交给第二个模型,让它据此倒着写出一条完整推理链。这就是STaR论文里的「合理化」步骤,被反过来用在隐藏的推理链上。

合成数据和购买数据。这些也不够用。

而且账单还在涨。一位与会者说,有一家实验室每天在老师token上花约30万美元,一年约1亿美元。与会者估计,中国实验室每年的蒸馏总支出在数亿美元。成本涨到5到10倍,账单就得上十亿美元,而三家头部创业公司——DeepSeek、Kimi的开发商Moonshot和智谱——总共才融了100到150亿美元。

编码仍然可以蒸馏,只是价格在涨。下一代能力要难得多。计算机操作、空间理解,以及视频生成(作为通往物理世界模型的路径),之所以难蒸馏,用在场人士的话说,是因为很难把完整的数据从模型里取回来。

这意味着什么。在场人士没有明说,所以这里给出机制。如今的蒸馏不是抄答案,而是让老师生成整套训练设置:任务、学生练习的环境、给作业打分的检查,以及解法。

在编码里,这些全都是老师能写出来的文本。在计算机操作里,老师只提供动作。环境(处于真实状态下的真实软件)和给每次尝试打分的检查,都得由学生所在的实验室去收集或搭建:这是一个工程项目,而不是API调用的副产品。公共网络是容易的场景;桌面软件、3D场景和物理世界要难得多。

再往后的市场就更难了。在场人士预计接下来是AI for Science和机器人,两者的数据护城河都更深。与会者说,真正能做药物发现的模型,除经过审查的合作伙伴外一概不对外开放。

「你连用都用不上,还怎么蒸馏?」

回到算力:中国远远落后

即便蒸馏行得通,也有一个极限:学生必须足够大,才能向老师学。

美国前沿模型一般在5到10万亿参数。把一个3到5万亿参数的老师蒸馏成7000亿参数的学生,效果很差。于是实验室被迫回头自己预训练更大的模型,而一个3到5万亿参数的模型至少需要数万块英伟达当前的Blackwell GPU。在场人士认为,算力是所有问题里最大的那个。

数字:

中国:中国实验室拥有相当于一万到数万块Blackwell GPU的算力。

美国:明年,一家美国实验室可能拥有4到6吉瓦的训练算力。按黄仁勋给出的每10吉瓦约400到500万块GPU的数字,这大约是200到300万块Blackwell级GPU。按我的算术,这约为中国头部实验室的百倍。

中国的算力够支撑约3万亿参数的模型;下一代约10万亿参数,才是短缺真正咬人的地方。没有老师自己从头建,需要的算力只会更多,不会更少。即便是在最激进的Moonshot,到年底也只够支撑一个4到5万亿参数的模型。

所以在场人士预计,差距会从三到四个月扩大到约一年。如果美国实验室明年实现递归自我改进(AI做AI研究),而在场人士认为这极有可能,差距可能扩大到18到24个月。

他们的推理是:今天,选择数据配比、分配算力、挑选实验,都是「炼丹」(中国机器学习圈对试错式训练的俚语),受人力限制。五十个研究员只能并行跑五十个实验。实现递归自我改进之后,数量只受算力限制,而那恰恰是中国最弱的地方。

从下方被低价切走

第二个威胁是价格。旧的分工,即美国闭源模型干高价值工作、中国开源权重模型干廉价工作,正在瓦解,因为美国实验室已经开始卖廉价智能。Anthropic上半年几乎没怎么推广更便宜的Sonnet和Haiku,现在却在大力推;Sam Altman自1月以来一直在强调廉价智能。

美国实验室负担得起。每一代GPU,把硬件和软件合起来算,产出的token大约是上一代的3到4倍,所以他们可以大幅降价而不伤利润率。中国实验室的效率红利已接近耗尽,美国实验室才刚开始。

这打破了中国这边的增长叙事。上半年的叙事是更大的模型、更高的价格:智谱的GLM-5.2每百万输出token约4美元,美国同类产品约20美元,留出了提价空间。现在美国价格在往下走,中国模型并不更好,也收不到更高的价,而下一代大模型的服务成本只会更高。

价格预期已经从「中国价格上涨、向美国看齐」变成「两边在中间碰头」。

最好的客户最先走。中国的AI收入依赖重度用户,而重度用户可以自己掏钱用Claude或Codex。在场人士举的例子:一位开发者在字节跳动的云上跑廉价国产模型,算了笔账,发现Codex订阅更便宜,在各种agent工具里也更好用。他们退订了,把所有东西都迁到Codex上,还买了一堆账号来叠加ChatGPT Plus的额度。

留给中国开源权重模型的,是微调和自托管。

微调目前还成立。市场尚未定型,美国实验室基本没有进来;OpenAI的强化微调一直没做起来。下一个冲击,会来自某家美国实验室推出成熟的微调产品,或者大举投入驻场工程师。

自托管已经在被争夺,随着美国开源权重模型和微软自研的MAI模型崛起,「正好打在中国模型的要害上」。

谁能活下来

中国是美国的镜像。在美国,价值流向做模型的人——两家主导实验室和一批挑战者,而出租GPU的新云厂商是门烂生意。在中国,模型很多,彼此差距很小,GPU稀缺,所以谁拥有算力,谁就拿走价值。

智谱说,以它自己的算力,只能拿到其模型本可产生收入的10%。仅阿里巴巴一家就握有中国约一半的Blackwell GPU;多数独立实验室靠租,上季度智谱最多只拿到几千块。

智谱既展示了蒸馏的力量,也展示了它的极限。它不是在技术上赢的。按在场人士的说法,它早期做了两个超大规模云厂商漏掉的判断:全力蒸馏Claude Opus 4.5和4.6,以及通过API卖编码能力。对手每样都蒸馏一点,结果被已经落后的老师困住。

但当所有人都在蒸馏时,产品就成了大宗商品,价格战随之而来。中国的毛利率在20%多,海外约45%,而Blackwell GPU在中国的价格约为五倍。如果模型架构上没有突破,这生意赚得少却需要重投入,而小米、字节跳动、阿里巴巴的Qwen团队等现在都在往编码里挤,与它竞争。一些买方人士已经得出结论:中国模型根本没有长期价值。

在场人士把中国玩家分成三类:

超大规模云厂商,背后有核心业务的云公司,如阿里巴巴和字节跳动。它们拥有算力。

DeepSeek,有国家支持。它随中国国产芯片产业一同上升,押注华为的芯片,并能优先拿到最好的算力。如果北京要扶持一个国字头冠军,DeepSeek是最有条件的那一个:能进入中国股市,国家给的宽容度也更高。

独立实验室,纯商业性质:智谱、Moonshot和MiniMax。它们既没有算力,也没有那种支持,而中国市场有限,所以也许只有一家能活下来。

在场人士描绘的终局,看起来像中国的电动汽车行业:一场价格战,剩不下几家。在美国,编码市场已经饱和,Codex已经打起了价格战。每月付20美元的用户会订阅好几项AI服务;每月付200美元的用户只留最好的那一个。

最后是一个高端玩家和一个低端玩家过得好。高端赢家是美国的。低端赢家可能是DeepSeek。

核对在场人士的说法

以下是这群人的论证与公开记录的对照。

漏洞正在关闭。Alexander Panfilov及其同事此前展示,一个更弱、更容易越狱的模型可以转录更强模型的加密推理。作者把此事披露给Anthropic、OpenAI和Google之后,这种攻击就失效了。

每一条获取算力的路都在变窄。据彭博社报道,阿里巴巴、腾讯、字节跳动等订购了约600万块英伟达RTX Pro 5500芯片,但预计未来四个月只能拿到数万块,约1%。据英国《金融时报》报道,在特朗普政府施压后,甲骨文取消了向腾讯出租约10万块AI芯片、价值约70亿美元的交易。

美国价格持续下跌,而DeepSeek引领中国的低端。自7月以来经过两轮降价,OpenAI的GPT-6 Luna每百万输入token收费0.10美元,每百万输出token收费0.50美元。在Artificial Analysis的指数(11月5日)上,Luna得28分。GLM-5.3-Flash只是与它打平。DeepSeek V4.1 Flash以33分领跑中国廉价模型。

美国开源权重的威胁正在到来。在同一指数上,DeepSeek V4.1 Flash得33分,智谱的GLM-5.3得32分。可下载权重的最强美国模型,Meta的Muse Spark Open,得25分;但11月5日发布、承诺下周放出权重的Thinking Machines的Inkling 2 Small得31分。Cognition最强的编码模型SWE-2,是在Moonshot的Kimi K3上做后训练的。

我的判断是,这种领先与在场人士的论证吻合。中国实验室仍然可以蒸馏美国前沿模型;而美国的开源权重实验室,受前沿实验室服务条款和美国法院的约束,实际上做不到。这种局面能持续多久,取决于蒸馏还能持续多久。

DeepSeek与华为走得更近,也更有钱了。据The Information报道,华为工程师现在在DeepSeek的办公室办公,华为计划把下一代训练芯片Ascend 960DT(预计2027年初推出)的大部分供应给DeepSeek。优先拿到货并不能弥合算力差距:Epoch AI估计英伟达B300的峰值算力约为Ascend 950的7倍。钱倒没那么成问题:据The Information报道,DeepSeek第二轮融资约160亿美元,超过在场人士对三家头部实验室融资总和做的估计。

关于这篇翻译:我把原始的要点式纪要围绕其论证重新组织,删掉了不服务于该论证的内容。没有链接的数字是与会者自己的估计,我无法核实。在场人士提到某个机制但未加解释的地方,由我解释并注明。公开证据与在场人士某个说法相矛盾的地方,我已删去该说法。原文:中国LLM讨论纪要。非投资建议。

阅读原文
📚 相关主题 商业研究

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新