AI Pulse
📡 X 信号

MaxForAI提出 AI 核心是规模化整个实验室

看了 @jietang 老师这篇帖子,我的第一个想法是: 果然,大家最后拼的还是 Infra。前几个月有个很抽象的段子: 数据就是 Infra,Infra 就是算法,算法就是数据。听起来像在说废话,但越往 frontier model 走,你会发现这三样东西真的越来越难分开。

你想做更好的 RL,首先得有一套足够稳定的 Infra 去跑 rollout。想跑更长、更复杂的 rollout,就得有 Environment、Sandbox、Verifier、Reward。这些东西跑起来以后,又会源源不断地产生新的训练数据。

所以所谓「突破」,最后经常不是某个研究员突然灵光一现写出了一个神奇公式。而是整个系统终于有能力把那个算法 Scale 起来了。@OpenAI 做 Post-training 的翁家翌之前在 WhyNotTV 的播客里讲过一个我印象特别深的观点: 每一家的 Infra 都有不同程度的 Bug,谁修掉的 Bug 越多,谁的模型就训得越好 而且这里的 Infra,绝对不只是 GPU 集群、网络和数据中心。

你的 Data Pipeline 是 Infra。你的 RL 系统是 Infra。你的 Environment、Verifier、Eval 是 Infra。

你的训练框架是 Infra。一个 Idea 从提出,到实验跑完,到结果进入下一轮训练需要多久,也是 Infra。甚至你团队里有什么样的人,研究员和工程师怎么配合,信息怎么流动,谁能够快速发现问题、修掉问题,本身也都是 Infra。

人是 Infra,组织也是 Infra。再回头看 GLM-5.3,就特别有意思。唐杰老师非常清楚的表示: GLM-5.3 和 GLM-5.2 是同一个 Base、同一个架构,相同的总参数量和激活参数量。

他们没有选择把模型继续做大。智谱 @Zai_org 主要做的,是用一个月继续 Scale long-horizon environment、RL 和 Post-training。然后模型能力继续明显上涨。

这又一次说明Scaling Law 没死,只是我们以前把 Scaling 理解得太窄了。以前大家 Scale 参数、Token、GPU。现在开始 Scale 数据生产、RL、Environment、Verifier、实验速度。

再往后,可能连整个团队和组织方式都在被 Scale。一家 AI Lab 真正的核心产品,可能根本不是某一个模型。而是那套能够持续、稳定、高效地制造出更强模型的系统。

你真正 Scale 的从来不只是 Model。你 Scale 的是整个 Lab。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新