百度开源280B参数模型,每个token只激活14B
百度把新模型 ERNIE-5.5-Flash-Base 放上了 Hugging Face,开源给社区用。总参数量 280B,但每个 token 只激活 14B 参数。这是混合专家架构的典型做法:模型很大,实际计算只走其中一小部分。
对开发者来说,硬件门槛跟着降。有用户在 Hugging Face 评论里估算,模型不到 300B。Q4 量化版本能塞进 128GB 内存加 32GB 显存的主机。这是社区估算,不是官方公布的硬件要求。模型还用了紧凑的 KV 缓存,运行时占的内存更少。百度说,注意力、残差连接、MoE 层和输出头这些组件都做了效率优化。
但要注意,这次放出来的是基础版。Base 模型是给继续训练用的基座,不是开箱即用的聊天助手。百度在模型介绍里写得很直白:一个适合继续训练的模型,设计上就该足够高效。普通用户直接拿它对话,效果不会好。经过后训练的 ERNIE 5.5 Flash 指令微调版会在后续发布。那个才是面向实际任务和日常使用的版本。
百度也公开了基础模型的架构和训练方式。它基于大规模高质量预训练数据,配一个和模型协同设计的训练系统。它在长上下文等多项基准测试里表现不错。百度希望社区在它上面做领域适配、推理增强或者智能体应用。
社区反应不全是正面的。有用户遗憾它不是 BERT 风格,也有人指出许可证不是 MIT 或 Apache 2.0——这会给商业使用和二次开发带来限制。关于量化版本到底需要什么硬件,用户还在问,官方没给具体答案。ERNIE 5.5 Flash 指令微调版什么时候发,也没有时间表。
百度把底层模型放了出来,适配和落地交给社区。许可证不是 MIT 或 Apache 2.0,能拿它做多少事,开发者还得自己掂量。
关键事实
- 百度发布了ERNIE-5.5-Flash-Base模型,并托管在Hugging Face上。
- 该模型总参数量为280B,但每个token只激活14B参数。
- 该模型是基础模型(Base),不是指令微调版本(Instruct)。
- 该模型在注意力、残差连接、MoE层和输出头等组件上进行了效率优化。
- 该模型基于广泛的高质量预训练数据,并配合协同设计的训练系统。
- 该模型在长上下文等多项基准测试中表现强劲。
- 该模型具有紧凑的KV缓存。
- 后续将发布经过后训练的ERNIE 5.5 Flash版本(即指令微调版)。