DeepSeek 大模型可以在本地部署吗？

发布时间：2025-05-13 08:50:33 | 责任编辑：吴卓 | 浏览量：38 次

DeepSeek大模型是可以进行本地部署的，以下是几种常见的本地部署方式：

本地算力部署（基于Ollama）

• 版本选择：DeepSeek开源了多个版本的模型，包括参数量较大的完整版和通过蒸馏技术压缩出的简化版。对于本地部署，可以根据硬件条件选择合适的版本。例如，DeepSeek R1的7B版本适合大多数电脑，而671B版本则需要较高的硬件配置。

• 部署过程：使用Ollama工具进行部署，Ollama可以理解为一个本地版的“服务器”，用来托管和运行模型。具体步骤如下：

  • 下载并安装Ollama客户端。

  • 在Ollama的模型库中选择DeepSeek模型及对应版本。

  • 在命令行中输入相关命令，如ollama run deepseek-r1:7b，进行模型下载和运行。

  • 下载完成后，可在命令行中直接输入问题与模型进行交互。

  • 还可以搭配前端工具如ChatBox、Cherry Studio等，或者使用Chrome插件PageAssist、AnythingLLM等来更方便地使用模型。

服务器部署

如果企业想在自己的设备上部署完整的DeepSeek-R1（671B版本），需要非常强大的硬件支持。服务器可以是实体机，也可以是云服务器。以下是几种性价比高的配置：

• Mac Studio：两台192GB内存的Mac Studio可以运行压缩版的671B模型。

• 高内存带宽服务器：24条16GB DDR5内存的服务器。

• 云GPU服务器：2张或更多80GB显存的GPU（如英伟达H100），租用价格大约2美元/小时/卡。部署流程与在个人电脑上部署7B模型的步骤类似：

• 下载Ollama客户端。

• 运行Ollama并执行命令来运行671B版本的模型，第一次运行时会自动下载模型文件。

• 可以通过客户端工具、自己开发页面，或者写代码来调用Ollama的R1模型。

企业级本地部署

• 佳缘科技案例：佳缘科技已完成内部AI服务器集群的Deepseek大模型本地化部署。该公司通过改进模型的参数调优和分布式训练技术，有效解决了大规模模型在本地环境中的算力和存储瓶颈，实现了模型的自主运行。

• 重庆钢铁案例：重庆钢铁也已初步完成DeepSeek R1 70B大模型的本地化部署，并建成AI知识库，正式投入公测运行。

阿里云平台部署

阿里云提供了DeepSeek大模型的部署服务：

• 用户可以登录PAI控制台，在Model Gallery页面选择需要部署的模型。

• 配置部署参数后，点击部署按钮即可等待服务部署成功。

• 阿里云还提供了不同配置的资源选择，以及节省计划和预付费资源组等方案来帮助用户降低成本。