OpenBMB发布MiniCPM-V 4.7 可在手机本地高效运行
🚀 我们推出全新开源多模态大语言模型系列 MiniCPM-V 4.7!它推进了性能-效率帕累托前沿,能以极高效率为 iOS 和 Android 设备带来强大的多模态能力。本次发布两款新模型:
🔹 MiniCPM-V 4.7 35B-A3B — 通过全新推出的前瞻专家调度(LES)技术,为端侧设备带来了SOTA性能,是端侧多模态 AI 的全新里程碑。
🔹 MiniCPM-V 4.7 1B — 轻量高效的多模态 AI,更易部署。
⚡ 更新点:
SOTA性能:在涵盖多模态理解、STEM推理、OCR和长视频理解的34个基准测试中都取得了极具竞争力的结果。
快速端侧推理:LES 通过预测并预加载专家权重来减少推理停滞,在输出完全一致的前提下,将 iPad Pro M4(16GB)的推理速度提升了5倍。它让 MiniCPM-V 4.7 35B-A3B 在 iPad Pro M4(16GB)上达到每秒17+ token,在 iPhone 17 Pro Max 上达到每秒13+ token,而仅占用3GB内存 🤯
高效视觉处理:支持4倍和16倍混合视觉 token压缩。即使是16倍压缩,35B-A3B 在 OCRBench 上的得分也能达到90.4,比 Qwen3.6 35B-A3B 高5.2分。
更易定制:我们推出了Self-Replay微调,这是一种低成本定制新目标能力,同时保持通用性能的简单方法。
广泛硬件支持:首发适配 Apple、Intel、AMD、Arm 和瑞芯微,通过 FlagOS 还支持更多平台!快来下载、部署,打造我们还未曾想象过的新东西吧。 👀👇
🔗 GitHub:
🤗 Hugging Face:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖