开源权重的夏天：推理成本与算力之争迎来转折
2025年冬天，在Opus 4.5发布之后，编码代理迅猛发展，使用量爆发。我认为今年夏天正在证明自己是开源权重模型的一个类似转折点。
算力紧张与定价
正如我在利润率崩塌系列博客（此处为第二部分）中所论述的，我们开始看到一些非常激进的定价举措。我们看到OpenAI将其快速、最便宜的层级5.6 Luna的成本削减了80%，现在又将其旗舰产品Sol削减了20%。
Meta也在其贡献者层级上以几乎免费的价格提供其开放模型Muse Spark 1.2，每百万token仅0.10/0.20美元（在该层级Meta可能会用你的数据训练——标准定价为1.25/4.25美元），目前该层级的缓存读取API价格是最低的每百万token 0.002美元（！）。
Anthropic尚未跟进这一定价，但英国《金融时报》正以一篇关于Fable 5——Anthropic定价10/50美元的前沿模型，也是其最昂贵的层级——采用率不佳的报道为先导（简而言之：太贵了）。其标题是：“Anthropic最好的AI模型在更便宜工具蓬勃发展的背景下难以吸引用户”。此外，他们的Claude开发者社交媒体账号暗示他们仍然（极度？）算力匮乏，希望将每周限额增加永久化，但苦于容量不足：
我绝不是暗示Anthropic真的陷入了困境——他们拥有非常可观的市场份额，但如果市场开始转向更便宜的模型，（目前）我认为他们是因缺乏可用算力而在价格方面应对能力最弱的实验室。
大量替代模型已经出现
我们现在至少有五家OpenAI、Anthropic和Google[1]之外的AI实验室提供非常好的模型——Z.AI、DeepSeek和Kimi——再加上Meta和Grok。有强烈迹象表明Meta将发布其前沿模型作为开源权重，这就给我们留下了四个质量足以驱动代理会话的开源权重模型。
毫无疑问还会有更多——Ox Alpha隐形模型已经获得了大量炒作[2]——但这确实向我表明，推理方面存在巨大的竞争。
在我看来，这里可能出现两种情况：
第一种是前沿模型与挑战者/开源权重模型之间的差距持续大幅缩小——以至于这些模型之间几乎变成一种商品。这对围绕专有模型建立的实验室来说是极坏的消息。目前来看，这似乎正是前方的道路。
然而，我不会低估的另一种情况是前沿实验室实现巨大飞跃，从而再次扩大差距。虽然历史上一直如此——开源权重缩小差距，然后就在看起来即将赶上时，OpenAI/Anthropic又发布新版本，再次扩大差距。但这一次我确实感到不同——差距从未如此之小，而且我很难看出这种巨大飞跃会来自哪里。但无论如何，这绝对有可能——而且由于数万亿美元的IPO市值押注于此——我不会排除此类意外。
同样重要的是，这一飞跃也可能来自token效率，而不仅仅是纯粹的“智能”。Anthropic和OpenAI的旗舰模型每token比最好的开源权重模型贵约5-10倍。但公平地说，开源权重模型往往每个任务会消耗多得多的token。因此，如果假设未来的Fable 6能实现与Fable 5相似的智能，但用少10倍的token来达成同样的最终目标，它仍将是一个非常有竞争力的模型。
不过，算力缺乏是一张百搭牌
我最近看到一段与Gavin Baker的非常有趣的访谈，他提出了一个中肯的观点：业内大量算力是以2-3年承诺、比如每GPU小时2美元的价格预留的，这些合约即将“到期”，因此将被重新定价。
鉴于当前Blackwell GPU的价格远高于此，他指出这些人希望支付每GPU小时4美元——好处将是底层成本翻倍。
我认为这确实使token效率的角度更加突出。能够更高效地提供这些模型，具有巨大的竞争优势——我认为目前比纯粹智能更重要。
那么接下来会发生什么？
2025年冬天是关于代理不惜任何代价需要前沿智能。今年夏天则是关于以十分之一的价格获得足够好的智能——以及前沿实验室能否继续为略微更好而收取溢价。
目前，定价权并不在最智能的模型手中，而是在拥有富余兆瓦电力的人手中。OpenAI有能力将Luna降价80%，并为Sol推出为期三个月的20%促销，因为它有容量和效率提升作为支撑。Anthropic——正因为没有这些，才以每月12.5亿美元向SpaceX租用300MW电力——不得不延长限额，并附带“容量可能紧张”的警告。
这颠覆了通常的科技叙事。几十年来，软件攫取了利润，硬件是商品。在这里，硬件就是利润，正如我在xAI新租赁业务中所论述的。少数几个开源权重托管方——Fireworks、Together、Cloudflare以及其他十几个——都有同样的动机：从每个GPU中榨取更多token，因为无论模型是谁训练的，谁能做到这一点，谁就能赢得价格战。
如果这场效率竞赛持续下去，那么廉价推理将继续拉动需求。前沿实验室的两条出路就是我在利润率崩塌系列中列出的那些：在智能上保持显著领先，或者让模型的token效率大幅提高，以至于标价不再重要。Fable 5在10/50美元价位被称“太贵”，说明这两条路都没有保证。
我不会打赌不会有意外飞跃——我们以前见过差距缩小又重新拉大，而数万亿IPO市值是一个强大的激励因素。但这是第一个开源权重足够接近，以至于大多数代理工作根本不需要前沿模型的夏天。这是一个真正的转折点，就像去年冬天的代理一样。
[1] 尽管我确实质疑Google在这份名单中的位置，鉴于他们在前沿领域非常明显的困境（Gemini到底怎么了）
[2] 看起来这是另一个GLM模型，但如果不是，它可能是市场中的另一个重要挑战者