面壁小钢炮 MiniCPM 免费商用

发布时间:2024-06-06 10:39:35 · 责任编辑:字母汇 · 浏览量:141 次

即日起， MiniCPM 和 MiniCPM-V 权重将对学术研究完全开放，并且企业、个人在填写问卷登记后亦允许商业使用，社区使用 MiniCPM 系列模型需要遵循 Apache 2.0 和《MiniCPM 模型社区许可协议》。

8B 体量，GPT-4V 级端侧最强多模态模型 MiniCPM-Llama3-V 2.5一经发布火遍全球，登顶 GitHub，HuggingFace，Papers With Code Trending 三榜首。当前 MiniCPM-V 系列下载总量已超 24万，GitHub 星标 5.5 k+。

• 超越 Gemini Pro 、GPT-4V 的最强端侧多模态综合性能；
• OCR 能力 SOTA！180 万像素更清晰，难图长图长文本精准识别；
• 手机端高效运行：量化后仅 8G 显存，4070 显卡轻松推理，6-8tokens/s 极速运行；
• 图像编码快 150 倍！首次端侧系统级多模态加速；
• 支持 30+ 多种语言。

部署对于大模型高效落地至关重要，在听到 llama.cpp 核心贡献者及其他众多开发者朋友的呼声后，我们不仅火速支持了 MiniCPM-Llama3-V 2.5 和 llama.cpp 的适配，而且进一步的带来了更多功能大放送：

• llama.cpp: 开源了 16 种 gguf 格式量化模型，方便用户选择合适的版本，支持 llama.cpp 推理，可实现端侧 6-8 tokens/s 的流畅解码。
• Ollama: 支持 Ollama 部署，方便用户在本地机器上便捷部署和运行。
• 高效 LoRA 微调：仅需 2 张 V100 显卡即可微调，轻松针对个性化场景进行定向能力强化。
• 流式输出：新增传参 stream=True 即可轻松体验流式输出。
• Demo：支持 Gradio 和 Streamlit 两种交互 demo，可快速进行本地 WebUI demo 搭建，同时也可以在 OpenBMB 的 HugginFace Spaces 在线体验。
• 手机 APK：支持安卓和鸿蒙系统手机部署的 APK。

 ➤  商用授权申请问卷链接：🔗 https://modelbest.feishu.cn/share/base/form/shrcnpV5ZT9EJ6xYjh3Kx0J6v8g

具体协议以 OpenBMB/MiniCPM 和 OpenBMB/MiniCPM-V 的 Github 官方声明为准，再次感谢厚爱支持。

 ➤  MiniCPM-Llama3-V 2.5 开源地址：🔗 https://github.com/OpenBMB/MiniCPM-V

 ➤  MiniCPM 系列开源地址：🔗 https://github.com/OpenBMB/MiniCPM

 ➤  Hugging Face 下载地址：🔗 https://huggingface.co/openbmb/MiniCPM-Llama3-V-2_5