首页 > 快讯 > 摩尔线程 MUSA 架构完美融入 llama.cpp,推动 AI 推理新时代!

摩尔线程 MUSA 架构完美融入 llama.cpp,推动 AI 推理新时代!

发布时间:2025-08-07 18:22:48 | 责任编辑:吴昊 | 浏览量:5 次

在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破!其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。
llama.cpp 是一个以纯 C/C++ 实现的大语言模型推理框架,以其轻量化的部署方式和跨硬件的兼容性备受瞩目。它不仅支持流行的 LLaMA 和 Mistral 等模型,还能够应用于多种多模态场景。这次适配意味着用户可以在摩尔线程的 MTT S80、S3000 和 S4000 系列 GPU 上,通过官方容器镜像高效地进行 AI 推理工作,极大提升了用户体验。
值得一提的是,今年 4 月,MUSA SDK 4.0.1 已经扩展到了 Intel 处理器以及国产海光平台,这次与 llama.cpp 的联动,更是为开发者们降低了部署大模型的门槛。开发者们只需简单配置,就能在本土 AI 硬件上轻松运行各种复杂的推理任务,为整个国内 AI 硬件生态注入了新的活力。
随着 AI 技术的不断演进,摩尔线程正以其创新的技术实力不断推动行业前行,进一步加速了 AI 推理框架的普及与应用。可以预见,未来在摩尔线程的推动下,AI 将会在各个领域展现出更加广泛的应用潜力,为用户带来更多的便利与可能。

摩尔线程 MUSA 架构完美融入 llama.cpp,推动 AI 推理新时代!

摩尔线程自主研发的 MUSA 架构近期已完成对 llama.cpp 的适配,用户可在 MTT S80/S3000/S4000 等 GPU 上通过官方容器镜像使用 llama.cpp 支持大语言模型(如 LLaMA、Mistral、Qwen 等)的推理。MUSA 架构支持从 FP64 至 INT8 的完整精度谱系,原生支持 FP8 大模型训练及推理,通过 FP8 混合精度技术可将 Transformer 计算性能提升约 20%-30%。此外,摩尔线程的 MUSA 软件栈(如 muDNN、MCCL 等)和工具链(如 MUSIFY 代码移植工具)为开发者提供了从 CUDA 到 MUSA 的平滑迁移体验,助力 AI 应用的高效部署。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

热门AI推荐