OpenBMB 官网

OpenBMB开源社区由清华大学自然语言处理实验室和面壁智能共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础，近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。亮点成果如下：

1. 曾最早提出知识指导的预训练模型ERNIE并发表在自然语言处理顶级国际会议ACL 2019上，累计被引超过600次；

2. 团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2、CPM-3，参数量最高达到1980亿，在众多下游任务中取得优异性能；

3. 2022年面向生物医学的预训练模型KV-PLM发表在著名综合类期刊Nature Communications上，并入选该刊亮点推荐文章；

4. 团队还有丰富的自然语言处理技术的开源经验，发布了OpenKE、OpenNRE、OpenNE等一系列有世界影响力的工具包，在GitHub上累计获得超过5.8万星标，位列全球机构第148位。

5. 2023年1月，OpenBMB与面壁智能联合研发的CPM-Bee多语言百亿大模型登顶ZeroCLUE。

OpenBMB 其核心理念是“让大模型飞入千家万户”，致力于推动大语言模型（LLMs）的开源和普及。以下是该网站的主要内容和亮点：

1. OpenBMB 使命与愿景

• 使命：让大模型技术更加普及，降低使用门槛，推动其在更多场景中的应用。
• 愿景：通过开源和社区的力量，推动大模型技术的发展，使其能够惠及更多用户。

2. 最新动态

• Eurux-8x22B：OpenBMB开源社区联合面壁智能发布了领先的开源大模型「Eurux-8x22B」。该模型在推理性能上超越了 Llama3-70B，被誉为开源大模型中的“理科状元”。
• MiniCPM-V 2.0：推出了具备领先 OCR 和理解能力的多模态版本 MiniCPM-V 2.0，进一步拓展了大模型在端侧设备上的应用能力。

3. 技术架构与工具

OpenBMB 提供了一系列工具和框架，用于大模型的训练、压缩、推理和微调，以下是主要工具及其功能：

BMTrain

• 功能：高效的大模型预训练与微调工具。
• 优势：相比 DeepSpeed 等框架，BMTrain 可节省 90% 的训练成本。

BMCook

• 功能：大模型压缩工具库。
• 优势：通过量化、剪枝、蒸馏等技术，保持原模型 90% 以上的性能，同时将模型推理速度提升 10 倍。

BMInf

• 功能：低成本高效推理框架。
• 优势：使用千元级显卡（如 GTX 1060）即可进行百亿参数大模型的推理计算。

OpenPrompt

• 功能：提供统一接口的提示学习模板语言。
• 优势：通过组合性和模块化设计，轻松部署提示学习方法，驱动大模型。

OpenDelta

• 功能：参数高效的大模型微调工具。
• 优势：仅更新少量参数（小于 5%），即可达到全参数微调的效果，且可与 OpenPrompt 协作运行。

ModelCenter

• 功能：基于 BMTrain 实现的一系列预训练语言模型。
• 优势：支持高效、低成本、可扩展性强的模型微调及分布式训练。

4. 社区与合作

• GitHub：OpenBMB 在 GitHub 上拥有活跃的开源社区，用户可以访问其 GitHub 主页获取更多项目代码和文档。
• 启智平台：OpenBMB 与启智平台合作，推动开源社区的对齐研究，支持全球 200 多个大模型的研究和开发。

OpenBMB 的官方网站是一个全面的资源平台，展示了其在大语言模型领域的最新成果和开源工具。如果您对大模型的训练、压缩、推理或微调感兴趣，或者希望将大模型技术应用于实际项目中，OpenBMB 提供的工具和资源将非常有帮助。