AMD发布vLLM-ATOM插件，显著提升国产大模型推理效能

发布时间：2026-05-12 12:56:22 | 责任编辑：吴昊 | 浏览量：25 次

AMD近日正式发布了专为大语言模型部署设计的vLLM-ATOM插件。该插件旨在不改变现有工作流的前提下，显著优化DeepSeek-R1、Kimi-K2 等主流国产大模型在AMD硬件上的推理性能。
作为面向高并发场景的开源推理框架，vLLM一直以显存利用率高而著称。此次AMD推出的插件提供了更贴合其Instinct系列GPU的优化方案，确保开发者能以极低的学习成本实现技术迁移。
实现性能平滑升级
vLLM-ATOM插件的核心优势在于“零成本”部署，用户无需改动原有的API或端到端工作流。插件会在后台自动接管并优化请求调度与内核调优，使得现有服务能平滑迁移至AMD硬件后端。
从架构设计上看，该插件分为三层：顶层负责兼容OpenAI接口，中间层负责模型实现与路由，底层则提供核心GPU内核。这种结构有效集成了混合专家模型（MoE）及量化技术，为大规模部署提供了保障。
广泛适配算力生态
该插件重点面向AMD旗下的Instinct MI350 及MI400 系列高性能GPU。它不仅支持Qwen3、GLM等主流中文大语言模型，还全面覆盖了稠密模型、混合专家模型以及视觉语言模型（VLM）等多种应用场景。
随着vLLM-ATOM的推出，AMD进一步降低了企业级AI部署的门槛。通过对DeepSeek-R1 等顶尖模型的深度优化，这一工具将帮助更多开发者利用AMD算力资源，实现更高效、更稳定的在线AI服务转化。