摩尔线程 MUSA 架构完美融入 llama.cpp,推动 AI 推理新时代!
发布时间:2025-08-07 18:22:48 | 责任编辑:吴昊 | 浏览量:5 次
在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破!其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。
llama.cpp 是一个以纯 C/C++ 实现的大语言模型推理框架,以其轻量化的部署方式和跨硬件的兼容性备受瞩目。它不仅支持流行的 LLaMA 和 Mistral 等模型,还能够应用于多种多模态场景。这次适配意味着用户可以在摩尔线程的 MTT S80、S3000 和 S4000 系列 GPU 上,通过官方容器镜像高效地进行 AI 推理工作,极大提升了用户体验。
值得一提的是,今年 4 月,MUSA SDK 4.0.1 已经扩展到了 Intel 处理器以及国产海光平台,这次与 llama.cpp 的联动,更是为开发者们降低了部署大模型的门槛。开发者们只需简单配置,就能在本土 AI 硬件上轻松运行各种复杂的推理任务,为整个国内 AI 硬件生态注入了新的活力。
随着 AI 技术的不断演进,摩尔线程正以其创新的技术实力不断推动行业前行,进一步加速了 AI 推理框架的普及与应用。可以预见,未来在摩尔线程的推动下,AI 将会在各个领域展现出更加广泛的应用潜力,为用户带来更多的便利与可能。
摩尔线程自主研发的 MUSA 架构近期已完成对 llama.cpp 的适配,用户可在 MTT S80/S3000/S4000 等 GPU 上通过官方容器镜像使用 llama.cpp 支持大语言模型(如 LLaMA、Mistral、Qwen 等)的推理。MUSA 架构支持从 FP64 至 INT8 的完整精度谱系,原生支持 FP8 大模型训练及推理,通过 FP8 混合精度技术可将 Transformer 计算性能提升约 20%-30%。此外,摩尔线程的 MUSA 软件栈(如 muDNN、MCCL 等)和工具链(如 MUSIFY 代码移植工具)为开发者提供了从 CUDA 到 MUSA 的平滑迁移体验,助力 AI 应用的高效部署。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。