华为推出昇腾大模型：无需GPU，解答复杂数学问题仅耗时2秒！

华为发布的“昇腾+Pangu Ultra MoE”系统实现了在无GPU的情况下，让一个近万亿参数的MoE大模型在2秒内理解并解答高等数学题。这一成果展示了华为在自主可控的国产算力和模型训练方面的强大能力。

技术突破

• 训练系统性能提升：华为通过智能选择并行策略和优化计算通信，大幅提高了集群的训练效率。在CloudMatrix384超节点上，多项技术创新使得大规模MoE训练的专家并行通信开销几乎降至零，同时有效平衡了计算负载。

• 单节点算力优化：通过优化训练算子的执行，微批处理规模提升至原来的两倍，解决了算子下发的效率问题。

• 模型架构与训练方法创新：盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法，实现了10+T tokens数据的长期稳定训练。此外，还提出了EP group loss负载优化方法，提升了专家的领域特化能力。

• 通信机制优化：创新设计了昇腾网络拓扑适配的分层All-to-All通信去冗余机制，结合细粒度前反向计算重叠编排，将大规模MoE训练中的专家并行通信开销降至接近零暴露。

模型架构特点

• 超大规模和超高稀疏比：Pangu Ultra MoE模型拥有7180亿参数量，采用256个路由专家，每个token激活8个专家。

• 硬件亲和设计：模型的隐藏层维度设置为7680维，精准匹配昇腾芯片的16×16 MatMul单元，充分发挥Cube核心的计算潜力。此外，模型的层数和专家规模也经过优化，以提升并行效率。

应用场景

虽然目前公开资料中未明确提及Pangu Ultra MoE模型的具体应用场景，但基于其强大的计算能力和高效的训练效率，该模型有望在以下领域发挥重要作用：

• 科学研究：加速数学、物理等基础科学领域的复杂问题求解，为科研人员提供更强大的工具。

• 教育领域：辅助教学，为学生提供个性化的学习指导，尤其是在数学等需要复杂逻辑推理的学科中。

• 工业应用：优化生产流程中的复杂计算任务，提高生产效率和质量控制。

• 金融科技：用于风险评估、投资策略分析等需要处理大量数据和复杂模型的场景。

华为的这一系列技术创新不仅让MoE模型的训练效率大幅提升，更为未来大规模AI模型的训练与应用打开了新的可能性。