AI Pulse
🔥 热点深度解读

仅2B参数新开源大模型,手机就能离线跑

有人想在手机离线运行大语言模型,却总被参数体积太大、性能太拉胯卡住。现在这个困境有了新的解法。

OpenBMB团队开源了一款名为MiniCPM5-2B的20亿参数语言模型,主打给端侧(手机、本地终端等非云端设备)提供高智能密度,目前已经完全开放。

根据已验证测试结果,它在Artificial Analysis Intelligence Index的4B参数以下开源模型中排名第一,得分23;在Agentic Index得分20,能给端侧带来早期通用智能体(可自主完成多步任务的AI)能力。在34个覆盖编码、数学、长上下文理解、工具使用和智能体任务的基准测试中,它平均得分53.9。

和很多小参数模型用混合专家架构不同,MiniCPM5-2B是稠密Transformer模型——推理时所有参数都处于激活状态,好处是资源消耗更可预测,更适合部署到端侧设备。OpenBMB同时还发布了10亿参数的MiniCPM5-1B,同样是稠密Transformer模型,在1B量级开源模型中达到了当前最佳水平。

@ItsmeAjayKV 认为:这是一个2B级开源新高度,支持128k上下文,采用LlamaForCasualLM架构,能直接在主流的llama.cpp中运行,是端侧运行的新最优模型。」

@itsPaulAi 认为:这太不可思议了,这个新开源模型只有2B参数,性能却比大6倍的模型更好,还能在手机上本地离线运行,并且针对智能体和编码做了优化。」

对普通使用者来说,这意味着如果想搭建本地离线的AI工具,现在又多了一个性能更强、体积更小的免费选择。不需要昂贵的高端显卡,普通手机就能跑起来,对隐私敏感的使用场景会更友好。

既然体积只有2B参数的模型都能超过体积6倍的前辈,那端侧运行通用AI,还要等多久?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新