DeepSeek的训练成本是多少？

发布时间：2025-05-07 10:33:26 | 责任编辑：问号 | 浏览量：12 次

根据最新的搜索结果，DeepSeek-V3的训练成本为557.6万美元。这一成本包括三个阶段：预训练（pre-training）、扩展上下文（context extension）和后训练（post-training），总计耗费了278.8万GPU小时。具体计算公式如下：

训练成本

=



GPU
小时数

×



每
GPU
小时租赁价格

假设H800 GPU的租赁价格为2美元/小时，计算得出总成本为557.6万美元。

需要注意的是，这557.6万美元的训练成本并不包括前期研究、架构设计、算法优化以及数据准备等“隐性成本”。此外，DeepSeek-V3的训练成本之所以相对较低，主要得益于其在算法优化、硬件资源管理和训练效率提升方面的创新。例如，DeepSeek采用了混合精度训练策略（如FP8训练框架），显著提高了训练效率。

相比之下，其他大规模模型的训练成本更高。例如，Llama 3.1 405B的预训练阶段耗费了约5800万美元，而根据估算，与GPT-4规模相当的模型训练成本约为4800万至6300万美元。