震撼来袭：英伟达推出开源模型 Llama-Nemotron，其推理能力超越 DeepSeek-R1

英伟达于2025年5月正式推出了其最新开源模型系列——Llama-Nemotron，该系列模型在推理性能上显著超越了DeepSeek-R1。以下是关于Llama-Nemotron模型的详细介绍：

模型概况

Llama-Nemotron系列包括三个不同规模的模型：

• LN-Nano 8B：轻量级模型，适合资源受限的设备。

• LN-Super 49B：中等规模模型，平衡性能与资源需求。

• LN-Ultra 253B：旗舰级模型，参数规模最大，推理性能最强。

此外，还有一个独立变体 UltraLong 8B，支持超长上下文（最多128K），适合需要处理长文本的任务。

性能优势

• 推理吞吐量和内存效率：Llama-Nemotron系列在推理吞吐量和内存效率上显著优于DeepSeek-R1。例如，LN-Ultra可以在单个8xH100节点上高效运行，而DeepSeek-R1需要8xH200的硬件配置。

• 推理能力：LN-Ultra在多项推理基准测试中表现优异，例如在GPQA基准测试中达到了开源模型中的最先进水平。在科学推理方面，LN-Ultra的表现也远超DeepSeek-R1。

• 动态推理切换：Llama-Nemotron系列是首批支持动态推理切换的开源模型。用户可以通过系统提示词“detailed thinking on/off”在标准聊天模式和推理模式之间自由切换。

训练与优化

• 多阶段后训练流程：Llama-Nemotron的训练分为五个阶段：

  1. 神经架构搜索（NAS）：优化推理效率，引入前馈网络融合（FFN Fusion）。

  2. 知识蒸馏与预训练：恢复模型性能。

  3. 有监督微调（SFT）：结合标准指令数据和教师模型的推理过程，提升多步骤推理能力。

  4. 强化学习：在复杂数学和STEM数据集上进行训练，进一步优化推理能力。

  5. 对齐训练：确保模型符合人类偏好。

• 架构优化：引入Puzzle框架，优化模型推理效率。例如，LN-Ultra通过移除注意力机制、调整前馈网络维度等优化措施，将推理延迟降低了1.71倍。

开源与许可

Llama-Nemotron系列模型完全开源，模型权重和部分训练数据已在Hugging Face上公开。这些模型遵循NVIDIA Open Model License和Llama社区许可，支持商业使用。

未来展望

Llama-Nemotron系列模型的推出，标志着开源人工智能模型领域的一次重大突破。其高效推理能力和灵活的交互设计，有望推动手机端智能助手的升级，提升科研加速器的效率，并显著降低企业算力成本。