AI Pulse
📡 X 信号

预训练算力效率指数级提升,普通AI将成商品

两个月前从 Anthropic 辞职的 Jacob Coxon 说,预训练的算力效率正在指数级提升。图中纵轴是对数坐标的算力效率。也就是说,通过模型架构、算法和数据的提升,达到同等智力水平所需的预训练算力正在指数级降低。

Jacob 进一步推断,随着 AI 自动化 AI 研究,前沿模型公司的领导地位可能越来越难被追上,但人类水平的 AI 将商品化。

其实这并不难理解,刘知远早在 2023 年就提出了 densing law,同等智力水平的模型推理成本每年约降低 10 倍。Anthropic 这张 slide 说训练成本也遵循这条曲线。

这也是我认为 personal agent 将回归渠道为王的原因,现在看起来是问题的 token 成本未来 1-2 年将大幅降低,agent harness 和中小规模 LLM 后训练也没有啥技术秘密,那么拥有设备、流量入口的平台将有很大的优势。

这就是为什么 OpenAI 和 Anthropic 聚焦 super-human intelligence,讲证明定理、挖漏洞和 AI for science 这些挑战人类智力极限的问题。在 intelligence for everyone 上只有 ChatGPT 还可以一战。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新