英特尔支持百度文心大模型 4.5，完成端侧部署
发布时间：2025-07-01 10:04:06 | 责任编辑：张毅 | 浏览量：38 次
6月30日，百度正式开源了其最新的文心大模型4.5系列，包含了多达10款模型，其中包括47B 和3B 激活参数的混合专家模型（MoE）以及0.3B 参数的稠密型模型。这次开源不仅让开发者能够免费使用这些强大的模型，还提供了预训练权重和推理代码，方便开发者进行各种应用。
而在此次发布中，英特尔也展现了其强大的技术支持。借助 OpenVINO 工具套件，英特尔在文心大模型的发布当天就完成了对这些端侧模型的适配，并成功在其酷睿 Ultra 平台上进行了端侧部署。OpenVINO 是英特尔自主研发的开源工具，旨在优化和加速深度学习模型的推理性能，实现跨平台部署，并充分利用英特尔的硬件资源。
值得一提的是，自2021年以来，百度的飞桨团队与英特尔的 OpenVINO 团队进行了深入合作，双方针对多个模型进行了适配工作，包括 PaddleOCR、PaddleSeg 和 PaddleDetection 等。这样的合作使得开发者可以直接利用飞桨模型，通过 OpenVINO 进行推理和部署，甚至可以通过 OpenVINO 的模型优化器将模型转换为 IR 格式，进一步提升部署效果。
文心大模型4.5的发布标志着百度在多模态理解、文本生成和逻辑推理等领域的又一次重大突破。这一系列模型的性能甚至在多项测试中超越了 GPT4.5，并且 API 调用的成本仅为后者的1%。这无疑为希望将 AI 技术应用于各类产品和服务的开发者提供了一个具有吸引力的选择。
英特尔和百度的这次合作，不仅展示了技术的前沿进展，也为 AI 的未来应用开辟了更广阔的道路。随着更多开发者参与到这些开源模型的使用中，我们可以期待在不久的将来，会有更多令人兴奋的创新和应用诞生。
英特尔借助OpenVINO™在百度文心大模型4.5系列开源模型发布的第零日即实现了端侧模型的适配和在英特尔酷睿Ultra平台上的端侧部署。
合作背景
从2021年开始，百度飞桨和英特尔OpenVINO™就开展了深入合作，双方对众多模型进行了深度适配，为开发者提供了更有效更便捷的AI开发工具链。经过适配的模型如PaddleOCR、PaddleSeg、PaddleDetection等，在金融、医疗、智能智造等领域被广泛应用。
OpenVINO™工具套件
OpenVINO™工具套件是由英特尔开发的开源工具套件，旨在优化和加速深度学习模型的推理性能，支持跨平台部署并充分利用英特尔硬件资源。它助力行业中广泛的先进模型在英特尔人工智能产品和解决方案中的性能，应用在AI PC、边缘AI和更多人工智能的使用场景当中。
部署过程
-
环境准备：基于特定的命令完成模型部署任务在Python上的环境安装。
-
模型下载和转换：将原始的PyTorch模型转换为OpenVINO™的IR静态图格式，并对其进行压缩，以实现更轻量化的部署和最佳的性能表现。通过Optimum提供的命令行工具optimum-cli，可以一键完成模型的格式转换和权重量化任务。
-
模型部署：针对ERNIE-4.5系列的文本生成类模型，使用Optimum-Intel进行任务部署和加速。Optimum-Intel可以通过调用OpenVINO™ runtime后端，以实现在Intel CPU及GPU平台上的性能优化。
意义与展望
英特尔助力百度文心大模型的首次亮相，共同为行业带来全新的人工智能体验。接下来，英特尔将持续与百度保持紧密合作，适配更多的文心系列模型，携手拓宽AI技术的新边界。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
