AI 推理服务商的赚钱逻辑：低门槛入场，靠算力利用率赚差价

推理服务商正在大量涌现，而且很多都能极快地做到月收入 100 万美元。

以下是推理服务商大致的经济模型：即使你以每 GPU 每小时 8 美元的价格按需租用 B300，许多开源模型（GLM 5.3、Kimi K3、DeepSeek 4.1 Flash / Pro）在合理吞吐量（100 tok/s）下，也能让你实现每 GPU 每小时 10 到 20 美元以上的收入。DeepSeek 的 DeepInfer 直接表明，他们在非高峰时段能做到每 GPU 每小时 38 美元。

每种芯片/模型都有不同的吞吐量/交互性曲线，但即使在现货租赁价格较高的情况下，与 token 价格之间仍存在大量套利空间。新芯片（Vera Rubin）也会显著改变这一局面。你能否实现毛利，取决于你的利用率以及你的技术栈有多优秀。像 OpenRouter、Vercel 这样的网关通过为你聚合需求来帮助解决这个问题。许多推理服务商也会通过打折出售 token 来换取长期承诺。我甚至听说过把中国模型的 token 回售给中国实验室的故事！

这些参与者经济模型中的一个痛点是，许多中国开源模型实验室现在会要求一定规模的收入分成，尤其是为了获得模型的预发布访问权限以支持首日上线。这进一步推高了盈利门槛。

进入门槛似乎很低，而且还在下降。甚至有故事说，一些较小的服务商可以通过“氛围编码”（vibe code）的方式，在他们租用的集群上部署开源模型。因此，我们几乎每周都能看到几十家这样的公司涌现，它们立即以较低的毛利率实现收入飙升，并以此为基础进行融资。

不出所料，由于实际提供的服务看起来像是大宗商品，这最终会推高计算价格并压低 token 价格。

理论上，拥有最低计算成本且自身已开展推理业务的新型云服务商（neoclouds）似乎会赢得这场价格战（Crusoe、Coreweave、Nebius 和 GMI 都有推理业务），而较大的参与者（Modal、Fireworks、Baseten）则位居其次，因为它们资金雄厚，可以廉价地进行更大规模的计算承诺，并且拥有需求（高利用率）。但现实是，市场增长如此之快，以至于即使是新兴公司也表现出色并积极扩张（inference.net、DeepInfra、Wafer、Relace、Morph）。

各家的策略各不相同：新型云服务商想提供推理服务，推理服务商想成为新型云服务商并从事更高利润的预留实例/后训练业务，还有一些则想采用异构硬件或创造性的灵活计算架构。

风险在于：开源模型是否会继续保持竞争力？它们的创造者是否会寻求更多租金？它们的形态是否会改变计算需求？不同的芯片如何改变经济模型？在供应紧张时，谁能获得计算资源？

以下是关于各种模型/芯片组合的毛利率如何随利用率变化的粗略草图。目前，有很多推理服务商，而且它们都在蓬勃发展！