NVIDIA 发布 Jet-Nemotron：混合架构语言模型实现 98% 推理成本削减，提速高达 53 倍
发布时间：2025-08-27 17:30:23 | 责任编辑：吴昊 | 浏览量：8 次
近日，NVIDIA 的研究团队宣布发布 Jet-Nemotron，这是一系列全新的语言模型（包含2亿和4亿参数的版本），其生成速度比当前最领先的全注意力语言模型高出53.6倍，并在准确性上达到了甚至超过了这些模型的水平。这一突破不是通过从头开始重新训练模型实现的，而是采用了一种名为 “后神经架构搜索”(PostNAS)的新技术对现有预训练模型进行了改造。
随着现代语言模型的广泛应用，如 Qwen3、Llama3.2和 Gemma3等，这些模型虽然在准确性和灵活性上设立了新的标杆，但其 O （n²） 的自注意力机制造成了计算和内存的高昂成本，尤其是在处理长文本任务时，这使得大规模部署变得异常昂贵，也几乎不可能在边缘设备或内存受限的设备上运行。尽管有一些尝试用更高效的架构替代全注意力 Transformer(如 Mamba2、GLA、RWKV 等)，但在准确性上却始终难以实现突破，直到现在。
PostNAS 作为 Jet-Nemotron 的核心创新，主要包括以下几个步骤:首先，选择一个最先进的全注意力模型（如 Qwen2.5），并冻结其多层感知器(MLP)层，以保护模型的学习能力并大幅降低训练成本;接着，用新的硬件高效线性注意力模块 JetBlock 替换掉计算成本高的全注意力模块;最后，通过超网络训练和束搜索，自动确定最优的全注意力层的位置，从而保持在特定任务上的准确性。
Jet-Nemotron 的性能指标令人瞩目:其2B 模型在各大基准测试中与 Qwen3-1.7B-Base 相当或更优，并且生成吞吐量提升了47倍。同时，在256K 上下文长度下，解码速度的提升达到53.6倍，使得推理成本降低了98%。这为边缘设备的部署带来了变革性的改变。
此外，Jet-Nemotron 的推出意味着企业能够以更低的成本实现更高的投资回报率。对于从业者而言，Jet-Nemotron 能够在不改变数据管道的情况下对现有模型进行改造，提升了实时 AI 服务的能力。而对于研究人员而言，PostNAS 降低了语言模型架构创新的成本，加速了 AI 技术的发展。
项目：https://github.com/NVlabs/Jet-Nemotron
划重点:
🌟 Jet-Nemotron 实现生成速度比现有模型提升53.6倍，推理成本降低98%。
💻 PostNAS 技术允许对现有预训练模型进行高效改造，保持准确性。
📈 新模型的推出使得企业和研究者能在成本和性能上获得双重收益。
。
Jet-Nemotron 的核心创新
1. PostNAS（后神经架构搜索）
-
无需从头训练：PostNAS 从现有预训练 Transformer（如 Qwen2.5）出发，冻结其 MLP 层，仅优化注意力层设计
。
-
四步优化流程：
-
全注意力层放置与消除：通过“once-for-all 超级网络”自动学习最优的全注意力层位置
。
-
线性注意力块选择：评估并选择最适合的线性注意力块（如 Gated DeltaNet）
。
-
JetBlock 设计：引入动态卷积核生成器，根据输入特征动态生成卷积核，提升数学与检索任务准确率
。
-
硬件感知架构搜索：优化超参数，降低 KV 缓存大小，提升批处理能力与吞吐量
。
-
2. JetBlock（新型线性注意力模块）
-
动态适应性：传统线性注意力使用静态卷积核，JetBlock 通过动态卷积核生成器，根据输入特征实时调整，提升性能
。
-
计算简化：移除 Query/Key 的静态卷积，仅对 Value 向量应用动态卷积，简化计算流程
。
性能表现
-
吞吐量提升：在 NVIDIA H100 GPU 上，Jet-Nemotron-2B 在 256K 上下文长度下，解码速度提升 53.6 倍
。
-
准确率：在 MMLU-Pro、数学、代码、常识、检索和长上下文等维度上，Jet-Nemotron-4B 几乎全面领先于 Qwen3、Llama3.2 等模型
。
-
成本节约：推理成本降低 98%，使得在边缘设备或资源受限环境中部署高性能大模型成为可能
。
项目与论文
Jet-Nemotron 的发布标志着大语言模型架构设计的新阶段，为高效、低成本、高精度的 AI 应用提供了新的解决方案。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
