姚顺雨和混元团队在Reddit AMA聊透了模型研发的底层逻辑
姚顺雨和混元团队的这些回答好犀利。
看了姚顺雨和混元团队在 Reddit 上的 AMA,全都是纯技术交流,非常犀利,很多技术细节没藏着掖着。
对腾讯的模型路线,以及当下整个 AI 模型行业感兴趣的同学,强烈推荐大家看看。因为腾讯还是很有代表性的,今年从 Hy3 一路追到 Hy4,模型进步确实快。
从 AMA 的回答能感受出来,混元团队还是很真诚和务实。比如有用户雷霆大思考之类的问题,他们也没辩解,直接承认这是当前的技术难点之一,而且讲了下来龙去脉。
我太喜欢这种交流的氛围了,没有弯弯绕绕。结合自己的理解,我总结了几个比较有启发的观点。
一、为什么要从一个 Flash 级别的模型开始做起?
我一直好奇,为什么腾讯今年没有直接训练 1T 以上参数的大模型,而是先从 Hy3 这样一个总参数只有 295B 的 Flash 级别的模型开始做起。
毕竟以腾讯的资源,按说是有实力直接训练参数更大的模型。而且大家都知道,在其他条件相近的情况下,模型的参数规模越大,通常也意味着更高的智能上限。
混元团队在 AMA 中解释了其中的思考逻辑。小模型最大的优势是实验成本极低,而在当时的情况下,实验的效率对 Hy 能力的提升是决定性的。
就像昨天我和硅谷的一哥们聊天,他说传统的软件工程和 AI 大模型训练的最大区别是不确定性。软件开发技术路线比较成熟。但大模型的研发需要研究员不停的做探索。
比如,光是注意力机制就有很多种技术方案,很难提前确定哪一种最好。即便某个方案在其他团队的模型上表现不错,放到自己的模型上,也不一定能取得同样的效果。
数据配比、网络架构、训练方法都是如此。
所以模型团队需要不断做实验,在大量不确定的技术方案中,找到真正有效的方向。
这也解释了为什么混元要先从相对较小的模型做起。
因为直接训练一个超大规模模型,实验成本和周期都会明显增加。如果没有充分验证架构、数据配比和训练方法,直接扩大规模,风险其实非常高。
这一年,可以看出来混元的思路:先通过小模型验证技术方案,再逐步扩大规模。这样可以在有限的算力预算内,进行更多尝试,减少后续大规模训练的不确定性。
我听说国内另外一个模型大厂,他们之前的模型能力一直不行,估计接下来也会用类似的思路重新来过。
二、参数规模和智能之间的关系
Hy3 和 Hy4 已经证明,参数规模绝对不是衡量模型智能的唯一标准。
如果模型的架构、训练数据和训练方法做得足够好,即便参数规模相对较小,也完全有可能超过一些参数量更大的模型。
其实,早在 2022 年,DeepMind 就通过 Chinchilla 做过一个非常经典的实验。
当时他们训练了一个只有 70B 参数的模型,和之前 280B 的 Gopher 相比,参数量只有四分之一。
但在训练计算量基本相同的情况下,Chinchilla 使用了四倍多的训练数据,最后在绝大多数测试任务上,反而超过了 Gopher。
这说明模型参数再大,如果没有得到充分训练,也未必能够发挥出应有的能力。行业内很多过了 1T 参数的模型智能同样很拉垮,我就不点名了。
所以更准确地理解,参数规模和模型智能确实有相关性,但绝对不是参数越大,模型就一定越聪明。
当然,这也并不意味着模型规模可以无限缩小。
毕竟更大的模型通常具有更高的智能潜力,特别是在复杂推理和强化学习任务中,模型本身需要具备一定的基础能力,才能通过训练进一步提高。
如果基础模型太小,一些复杂任务可能根本无法完成,强化学习也就很难获得足够有效的训练信号。
模型的参数还是会直接影响智能的上限。所以,混元从 Hy3 到 Hy4 以及预期中的 Hy5 模型参数都是在逐步扩大的。
他们的逻辑是,如果在基础没有打好的情况下,贸然扩充参数规模,意义不大。
当然,扩大训练规模也没那么容易。
我看 AMA 里姚顺雨提到,从 Hy3 扩展到 Hy4,是整个研发过程中最困难的阶段之一。训练刚开始的时候,大家还是很紧张。
因为当时针对训练数据做的消融实验还不够充分。所谓消融实验,就是通过调整或者去掉某些训练数据,观察模型性能发生什么变化,从而判断这些数据到底有没有价值。
但问题是,小规模实验中的结果,未必能够完全迁移到更大的模型上。所以在正式启动 Hy4 训练时,团队对最终效果仍然存在不少不确定性。
三、MoE 的稀疏度,并不是越高越好。
现在很多模型团队都在追求更低的激活参数比例。大致思路是通过提高 MoE 的稀疏度,让模型每次只激活一小部分参数,从而减少计算量,提高推理效率。
但姚顺雨认为,这件事其实需要分情况来看。
第一种情况,保持激活参数量不变,继续扩大总参数规模。
比如,一个模型的激活参数始终是 12B,但是总参数规模可以从 100B 扩大到 200B。
这样一来,模型每次处理 Token 时使用的计算量大致不变,但总参数更多了,可以容纳更多的专家,从而有机会获得更好的模型性能。
混元团队通过不同规模的实验发现,在激活参数固定的情况下,提高稀疏度,确实有助于改善计算效率。也就是在相近的计算预算下,有机会获得更好的模型性能。
但第二种情况就不一样了,保持总参数规模不变,进一步降低激活参数量。
比如,Hy4 flash 不考虑 Engram 参数的话,是一个 156B-A12B 的模型。
如果总参数仍然保持 156B,但是把激活参数进一步降低到 8B,甚至 5B,会明显损害模型的质量。
原因也很好理解。激活参数量在很大程度上决定了模型每次处理 Token 时实际使用的计算预算。
虽然模型仍然拥有 156B 的总参数,但每次真正参与计算的参数越来越少,能够完成的计算量也会随之减少。
提高稀疏度确实能够改善计算效率,但这种收益很难完全弥补计算量减少带来的能力损失。
所以,MoE 并不是越稀疏越好,还需要结合总参数量和激活参数量一起考虑。
而且,过于稀疏的 MoE,在实际推理中也未必更加高效。比如,总参数 200B,但每次只激活 3B 的模型,看起来计算量非常小,推理速度应该很快。
实际情况也不一定。
因为 200B 的模型仍然需要占用大量 GPU 显存,每次参与计算的参数只有 3B,很可能出现显存占用了很多,GPU 的计算能力却没有得到充分利用的情况。
不过如果是在普通电脑等本地设备上,情况又有所不同。因为这类设备通常受到内存带宽的限制,激活参数更少的模型,反而可能运行得更快。
这其实也是一个很有意思的技术判断。MoE 的稀疏度究竟应该做到多少,还需要结合模型能力、计算预算,以及实际运行的硬件来决定。
四、Reward Hacking 的难点
有开发者问,混元在长程 Agent 的强化学习中,最难解决的 Reward Hacking 到底是什么?
混元的同学举了个例子。
假设希望 Agent 在特定环境中,自主分析并解决问题。结果模型发现,根本不需要按照要求完成任务,只要直接上网搜索,就能找到答案。
这样一来,模型虽然获得了很高的奖励,但实际上没有掌握我们希望它学习的能力。
确实,过去我们讨论强化学习中的 Reward Hacking,往往关注奖励机制本身有没有漏洞。
但到了长程 Agent 任务中,即便奖励机制能够准确判断最终答案是否正确,模型也可能通过环境中的捷径获得高分。
而且,这类问题其实更难解决。