开源更新:MiniCPM-V 4.0 – 面壁智能的全新多模态模型版本
发布时间:2025-08-07 10:25:08 | 责任编辑:张毅 | 浏览量:16 次
魔搭ModelScope社区宣布,面壁小钢炮新一代多模态模型MiniCPM-V4.0正式开源。凭借4B参数量,该模型在OpenCompass、OCRBench、MathVista等多个榜单上取得了同级SOTA(State of the Art,即当前最佳)成绩,并且实现了在手机等移动设备上的稳定、流畅运行。同时,官方还开源了推理部署工具MiniCPM-V CookBook,帮助开发者在不同需求、不同场景、不同设备下实现开箱即用的轻量、简易部署。
MiniCPM-V4.0的开源,标志着多模态模型在端侧应用领域迈出了重要一步。作为最适合在手机上运行的模型尺寸,MiniCPM-V4.0以4B参数量实现了稳定运行和快速响应,长时间连续使用也不会出现发热或卡顿现象。目前,支持MiniCPM-V4.0本地部署的iOS App已开源,开发者可以在CookBook中下载使用。
在性能方面,MiniCPM-V4.0在4B参数量级的多模态能力上达到了同级SOTA级别。在OpenCompass、OCRBench、MathVista、MMVet、MMBench V1.1、MMStar、AI2D、HallusionBench等评测基准测试中,MiniCPM-V4.0的综合性能均为同级最高。特别是在OpenCompass测评中,MiniCPM-V4.0的综合性能超过了Qwen2.5-VL3B模型和InternVL2.54B模型,甚至可比肩GPT-4.1-mini、Claude3.5Sonnet。与上一代MiniCPM-V2.6的8B模型相比,MiniCPM-V4.0在模型参数减半的同时,多模态能力实现了显著提升。
MiniCPM-V4.0之所以能在手机、PC等端侧设备上丝滑、流畅地完成实时视频理解、图像理解等任务,除了其出色的效果外,还得益于独特的模型结构设计。该设计实现了同尺寸模型下最快的首响时间与更低的显存占用。经在Apple M4Metal上测试,正常运行MiniCPM-V4.0模型时,显存占用仅为3.33GB,低于Qwen2.5-VL3B、Gemma3-4B等模型。在图片理解测试中,MiniCPM-V4.0借助ANE + Metal辅助加速,首次响应时间大幅缩短,随着输入图片分辨率的提高,首响时间快的优势更为明显。
此外,研究团队还利用2张4090GPU对模型并发量、吞吐量进行了测试。实验结果显示,在算力资源可支持的范围内,随着并发量的增加,MiniCPM-V4.0模型的总吞吐量优势更为明显。例如,在256并发用户需求下,MiniCPM-V4.0的吞吐量高达13856tokens/s,远超Qwen2.5-VL的7153tokens/s、Gemma3的7607tokens/s。
Github: 🔗 https://github.com/OpenBMB/MiniCPM-o
Hugging Face: 🔗 https://huggingface.co/openbmb/MiniCPM-V-4
ModelScope: 🔗 https://modelscope.cn/models/OpenBMB/MiniCPM-V-4
CookBook: 🔗 https://github.com/OpenSQZ/MiniCPM-V-CookBook
面壁智能于 2025 年 8 月 5 日正式开源了新一代多模态模型 MiniCPM-V 4.0。
关键信息总结
-
模型规模:总参数量为 4.1B,基于 SigLIP2-400M 和 MiniCPM4-3B 构建。
-
性能表现:在 OpenCompass 评测中,平均得分 69.0,超越 GPT-4.1-mini-20250414、MiniCPM-V 2.6 和 Qwen2.5-VL-3B-Instruct。
-
运行效率:专为端侧部署设计,在 iPhone 16 Pro Max 上,首 token 延迟小于 2 秒,解码速度超过 17 token/s,无明显发热。
-
支持平台:支持 llama.cpp、Ollama、vLLM、SGLang、LLaMA-Factory 及本地 Web Demo 等主流部署方式。
-
开源资源:
-
GitHub 仓库:OpenBMB/MiniCPM-o
-
移动端应用:同步开源了适用于 iPhone 和 iPad 的 iOS 应用。
总结
MiniCPM-V 4.0 以小巧的参数规模和高效的架构,实现了在图像理解、多图及视频理解任务上的领先性能,成为移动端部署的理想选择。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。