AI Pulse
📡 X 信号

@eliebakouch 谈 AI 进展衡量:训练管线的二阶交互才是隐形瓶颈

如果你想理解 AI 进展以及如何衡量它,这是一篇非常重要的文章。我已经在这方面工作了几个月,几乎完全同意这里的所有观点。以下是一些额外的(非结构化)想法:

-- 1) 减速因素:训练 LLM 中的二阶交互

关于我们在 AI 研究中看到的数学领域的 AI 进展,大约一个月前我就这个问题发过一篇帖子,我完全同意,但我想对 Dwarkesh 的评论补充一点,那就是可能减缓 AI 研究进展的一个因素是“二阶交互”的数量。

我无法评论大型实验室在这里知道什么,但至少在公开领域,完全不清楚完整的模型训练流程是如何相互作用的,甚至在每一层都是如此。

让我们以预训练为例,比如将 KV cache 变小这样的改变。这将允许我们逐步提升推理效率。许多实验表明,这对验证损失可能是中性的(甚至会带来收益),但这是否意味着我们在长上下文智能体任务上得到了更好的模型呢?这里有很多相互矛盾的结果。

MiniMax 从线性注意力(M1)转向全注意力(M2)再到稀疏注意力(M3),与此同时,Kimi 从全注意力(K1.5/K2)转向线性注意力(K3)。Mistral Large 4 发现 KV 共享对 Terminal Bench 2 有负面影响,但对交叉熵没有影响,而 dsv4.1 Flash 是最好的小模型之一,并且具有疯狂的 KV 共享模式(只有 1 层在解码器上计算 KV)。大多数西方开源模型使用 SWA,而大多数中国开源模型不使用。

这只是一个对其他一切都有影响的单一决策的例子。在预训练中,你可以有不同的形状、架构、数据、学习算法、TPP、规模等相互作用。而且这些元素中的每一个也可以与中期和后期训练相互作用。

这些只是大量可能的交互,我认为比数学领域多得多,而且随着自动化研究人员尝试更多改变,交互的数量将会增加。

计算仍然是这里的主要瓶颈,美国的封闭实验室与世界其他地方之间存在巨大差异。重要的一点是,有一些方法可以通过找到更好的代理指标或在问题上花费更多推理来“长期”*减少计算需求。我说的是长期,因为一开始寻找代理指标可能会更加密集,因为你需要在大规模上验证它们,而这也需要计算。

*顺便说一句,这里的长期并不是超级长,哈哈,我一些非常随机的猜测是,对于 OpenAI/Anthropic 规模的计算来说,可能是几个月,但对于中国实验室来说可能是几年。

还有一个问题是,如果前沿实验室继续发布他们最好的模型,这里的差距会有多大变化,例如 Anthropic 用 Mythos 5.2 削弱 AI 能力。

-- 2) 数据与算法进展,以及效率提升如何在训练 LLM 中通常具有“误导性”

你可以进行两种类型的改进,要么是数据,要么是算法。这是一个很大的话题,但在我看来,主要的区别在于我

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新