预训练算力效率指数级提升,普通AI将成商品
两个月前从 Anthropic 辞职的 Jacob Coxon 说,预训练的算力效率正在指数级提升。图中纵轴是对数坐标的算力效率。也就是说,通过模型架构、算法和数据的提升,达到同等智力水平所需的预训练算力正在指数级降低。
Jacob 进一步推断,随着 AI 自动化 AI 研究,前沿模型公司的领导地位可能越来越难被追上,但人类水平的 AI 将商品化。
其实这并不难理解,刘知远早在 2023 年就提出了 densing law,同等智力水平的模型推理成本每年约降低 10 倍。Anthropic 这张 slide 说训练成本也遵循这条曲线。
这也是我认为 personal agent 将回归渠道为王的原因,现在看起来是问题的 token 成本未来 1-2 年将大幅降低,agent harness 和中小规模 LLM 后训练也没有啥技术秘密,那么拥有设备、流量入口的平台将有很大的优势。
这就是为什么 OpenAI 和 Anthropic 聚焦 super-human intelligence,讲证明定理、挖漏洞和 AI for science 这些挑战人类智力极限的问题。在 intelligence for everyone 上只有 ChatGPT 还可以一战。