AI Pulse

百度开源280B参数模型,每个token只激活14B

百度把新模型 ERNIE-5.5-Flash-Base 放上了 Hugging Face,开源给社区用。总参数量 280B,但每个 token 只激活 14B 参数。这是混合专家架构的典型做法:模型很大,实际计算只走其中一小部分。

对开发者来说,硬件门槛跟着降。有用户在 Hugging Face 评论里估算,模型不到 300B。Q4 量化版本能塞进 128GB 内存加 32GB 显存的主机。这是社区估算,不是官方公布的硬件要求。模型还用了紧凑的 KV 缓存,运行时占的内存更少。百度说,注意力、残差连接、MoE 层和输出头这些组件都做了效率优化。

但要注意,这次放出来的是基础版。Base 模型是给继续训练用的基座,不是开箱即用的聊天助手。百度在模型介绍里写得很直白:一个适合继续训练的模型,设计上就该足够高效。普通用户直接拿它对话,效果不会好。经过后训练的 ERNIE 5.5 Flash 指令微调版会在后续发布。那个才是面向实际任务和日常使用的版本。

百度也公开了基础模型的架构和训练方式。它基于大规模高质量预训练数据,配一个和模型协同设计的训练系统。它在长上下文等多项基准测试里表现不错。百度希望社区在它上面做领域适配、推理增强或者智能体应用。

社区反应不全是正面的。有用户遗憾它不是 BERT 风格,也有人指出许可证不是 MIT 或 Apache 2.0——这会给商业使用和二次开发带来限制。关于量化版本到底需要什么硬件,用户还在问,官方没给具体答案。ERNIE 5.5 Flash 指令微调版什么时候发,也没有时间表。

百度把底层模型放了出来,适配和落地交给社区。许可证不是 MIT 或 Apache 2.0,能拿它做多少事,开发者还得自己掂量。

关键事实

阅读原文
📚 相关主题 大模型开源百度

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新