Nemotron-Nano-9B-V2:英伟达推出的免费高能小模型，商用版性能强劲
发布时间：2025-08-19 10:38:01 | 责任编辑：张毅 | 浏览量：10 次
小型模型正在掀起一场风暴，而英伟达也不甘落后。在麻省理工学院和谷歌相继推出能在智能手表和智能手机上运行的小型 AI 模型后，英伟达发布了其最新的小型语言模型（SLM）——Nemotron-Nano-9B-V2。该模型在多个基准测试中表现出色，并在特定测试中达到了同类产品的最高水平。
Nemotron-Nano-9B-V2的参数量为90亿，虽然比一些数百万参数的微型模型要大，但它比之前的120亿参数版本显著减小，并专门针对单个英伟达 A10GPU 进行了优化。英伟达 AI 模型后训练总监 Oleksii Kuchiaev 解释说，这种调整是为了适配 A10这款热门的部署 GPU。此外，Nemotron-Nano-9B-V2是一款混合模型，能处理更大的批次，速度比同等规模的 Transformer 模型快6倍。
该模型支持多达九种语言，包括中、英、德、法、日、韩等，并擅长处理指令跟踪和代码生成任务。其预训练数据集和模型本身都已在 Hugging Face 和英伟达的模型目录中提供。
Nemotron-Nano-9B-V2基于 Nemotron-H 系列，该系列融合了 Mamba 和 Transformer 架构。传统的 Transformer 模型虽然强大，但在处理长序列时会消耗大量内存和计算资源。而 Mamba 架构则引入了选择性状态空间模型（SSM），能够以线性复杂度处理长信息序列，从而在内存和计算开销上更具优势。Nemotron-H 系列通过用线性状态空间层替换大部分注意力层，在长上下文处理上实现了2-3倍的吞吐量提升，同时保持了高精度。
这款模型的一大创新是其内置的“推理”功能，允许用户在模型输出最终答案前进行自我检查。用户可以通过简单的控制符（如 /think 或 /no_think）来开启或关闭此功能。模型还支持运行时“思考预算”管理，开发者可以限制用于内部推理的令牌数量，从而在准确性和延迟之间取得平衡。这对于客户支持或自主代理等对响应速度有要求的应用场景尤为关键。
英伟达根据其开放模型许可协议发布了 Nemotron-Nano-9B-V2，该协议对企业友好且高度宽松。英伟达明确表示，企业可以自由地将该模型用于商业用途，并且无需为使用该模型支付费用或版税。
尽管如此，协议仍有一些核心要求，例如用户必须遵守内置的安全机制、在重新分发模型时进行归属标注，并遵守相关法律法规。英伟达表示，该协议旨在确保负责任和合乎道德的使用，而不是通过限制商业规模来盈利。这使得 Nemotron-Nano-9B-V2成为了那些希望在降低成本和延迟的同时，保持高精度的企业开发者的理想选择。
英伟达今日正式发布 小型语言模型 Nemotron-Nano-9B-V2（简称 Nano-9B-V2），主打“免费商用且性能卓越”，核心信息如下：
-
架构与性能
-
采用 Mamba-Transformer 混合架构，用线性状态空间层替换大部分注意力层，在 8k 输入/16k 输出场景下，吞吐量最高可达同规模 Transformer 的 6.3 倍。
-
90 亿参数，经剪枝对齐后仅 9 B，专为单张 A10 GPU 优化，兼顾精度与延迟。
-
在 GSM8K、MATH、HumanEval+、MMLU-Pro、RULER-128k 等基准上，持平或优于 Qwen3-8B、Gemma3-12B 等同级开源模型。
-
-
功能亮点
-
可开关推理：通过
/think、/no_think控制符，让模型在给出最终答案前自行“思考”；开发者还能设置“思考预算”（token 上限）以平衡准确与延迟。 -
多语言：支持中、英、德、法、日、韩等 9 种语言，擅长指令跟随、代码生成。
-
128 k 上下文：一次性处理超长文档或对话。
-
-
开放与商用
-
完全开源：模型（含 Base 版）、预训练数据集（6.6 T token）、技术报告均已上传 Hugging Face，可自由下载。
-
企业友好许可：遵循 NVIDIA 开放模型许可协议，可 免费商用、无需版税，只需保留署名并遵守安全与合规条款。
-
-
典型场景
-
本地或边缘侧的客户支持机器人、代码助手、低延迟对话系统；也可利用 NeMo / NIM 微服务，在企业数据中进一步微调、RAG 检索增强。
-
一句话总结：Nemotron-Nano-9B-V2 用 9 B 参数做到同级最佳推理吞吐，免费、可商用、开箱即用，适合对成本、延迟敏感的企业与开发者。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
