百度开源 ERNIE-5.5-Flash-Base，280B 总参数仅激活 14B

百度刚刚开源了 ERNIE-5.5-Flash-Base，数据值得一看。👀

这是一个 280B 参数的 MoE 模型，每个 token 仅激活 14B 参数，基于 33.5 万亿 token 预训练。根据百度的评估，它在同等规模的 Base 模型中达到了 SOTA 级别的性能。

一些令人印象深刻的基准测试分数：
→ MMLU: 93.3
→ MMLU-Pro: 78.4
→ HumanEval+: 82.3
→ MBPP+: 81.5
→ RepoQA: 91.7

引起我注意的是它背后的技术：
- Latent-Gated Sparse Attention，用于更高效的长上下文处理。
- Multi-Router Latent MoE，用于更好的专家选择。
- ECHO，用于无需独立 MTP 模块的多 token 预测。

它在预训练期间支持 128K 上下文，在推理和微调时最高支持 1M token。

但我觉得最有意思的是：这是一个 Base 模型，而不是一个现成的 AI 助手。研究人员和开发者可以在这个基础上进行构建、微调，并创建他们自己的专用模型。这正是开源 AI 令人兴奋的地方。很想看看研究人员会用它构建出什么！

#百度 #ERNIE #开源AI #LLM