AI Pulse
📡 X 信号

扎克伯格解读AI模型蒸馏及其相关投资影响分析

Mark Zuckerberg 正在解释 AI 中最被误解的一个动态,它会直接影响投资(收藏这条)。

他所描述的概念是模型蒸馏,这是过去一年 AI 领域出现的最重要技术之一。下面说说它的运作原理。

你先训练一个体量极大、成本极高的模型,在 Meta 的案例里就是 Llama 4 Behemoth——一个拥有 2 万亿参数的“教师模型”,然后你用这个模型来训练小得多、便宜得多的模型。

小模型继承了大模型大约 90% 到 95% 的智能,运行成本却只有大模型的 10%,所需算力也只有零头。

Meta 已经在 Llama 4 系列上这么做了,Behemoth 就是那个教师模型。公开发布的开源模型 Llama 4 Scout 和 Maverick 都是从它蒸馏出来的。

Scout 可以在单张 H100 GPU 上运行,拥有 1000 万 token 上下文窗口,表现比运行成本高得多的模型还要好。

拥有 170 亿活跃参数的 Maverick,编码能力能和 DeepSeek V3 媲美,参数总数只有对方一半,多模态基准测试成绩还超过了 GPT-4o。这两个模型都完全允许免费商业使用。

Zuckerberg 指出的是 AI 实际落地方式的结构性转变。企业现在不会直接拿现成的前沿模型原封不动运行,而是会拿开源模型,用自己的专有数据做微调,再蒸馏成更小的定制模型,适配自己的具体用例,然后在自己掌控的基础设施上运行,成本比闭源前沿 API 低得多。

这带来的投资影响十分显著,主要体现在两个方向。

对 Meta 来说,这一招是战略神来之笔。每一家基于 Llama 构建、微调、蒸馏,或是通过 Meta 基础设施部署的公司,都会被拉进 Meta 的生态,而 Meta 则持续构建最强大的开源教师模型。

使用这项技术的企业生态会不断壮大,这个生态会在 Meta 的平台和数据服务上产生商业活动。Meta 的 AI 研究还能从数十亿真实世界部署信号中获益,这形成了闭模型提供商无法复制的飞轮。

因为闭源提供商的策略是按 token 收费,现在和开源替代方案相比,成本劣势高达 65 倍。

对整个市场来说,蒸馏改变了推理的经济逻辑,而这一点几乎还没有被定价反映出来。随着大模型的智能可以被提取到更小更便宜的模型里,对算力的绝对需求不会下降,反而会爆发。

因为现在具备经济可行性的应用数量会出现数量级的增长。原来每次调用要 3.25 美元、贵到没法自动化的任务,现在 0.05 美元就能做,变得可行。

这意味着总 token 用量会增加,GPU 总利用率会提升,对基础设施公司的需求也会增加——比如供应底层算力和电力的 Nebius、GE Vernova、Constellation Energy。

我们在 Nebius、Credo、Bloom Energy、AAOI 和 AMD 大涨之前就推荐过它们了。别错过下一个,只需 1 美元就能加入我们。

我们在 Nebius、Credo、Bloom Energy、AAOI 和 AMD 大涨之前就推荐过它们了。别错过下一个,只需 1 美元就能加入我们。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部