华为诺亚方舟实验室携手港大发布最强开源扩散语言模型 Dream 7B，打破文本生成格局

香港大学与华为诺亚方舟实验室联合推出的 Dream 7B 是当前最强大的开源扩散语言模型（Diffusion Language Model, DLM），在多项任务上媲美甚至超越同规模自回归模型（如 Qwen2.5 7B、LLaMA3 8B），并在某些复杂推理任务上表现优于 DeepSeek-V3-671B（0324版）。这一突破标志着扩散模型在自然语言处理（NLP）领域的重大进展，可能重塑未来大语言模型（LLM）的发展方向。

Dream 7B 的核心突破

1. 扩散模型 vs. 自回归模型
   • 传统自回归（AR）模型（如 GPT、LLaMA）按顺序逐个生成 token，而扩散模型（DM）从噪声状态出发，同步优化整个序列，具有更强的全局连贯性和推理灵活性。
   • Dream 7B 采用掩码扩散范式，结合上下文自适应 token 级噪声重排机制，使模型能更精准地学习不同 token 的上下文关系。
2. 性能表现
   • 通用能力：在通用语言理解、数学推理和编程任务上，Dream 7B 与 Qwen2.5 7B、LLaMA3 8B 相当，甚至在某些任务（如 Countdown、数独）上超越 DeepSeek-V3-671B。
   • 规划能力：在处理多重约束问题（如逻辑推理、复杂规划）时，Dream 7B 展现出比 AR 模型更强的适应性。
   • 推理灵活性：支持任意顺序生成（如补全、填空），并可通过调整扩散步骤在速度与质量之间灵活权衡。
3. 训练优化
   • 采用 Qwen2.5 7B 的权重初始化，大幅减少预训练计算需求。
   • 在 96 台 NVIDIA H800 GPU 上训练 256 小时，处理 5800 亿 token 数据。

扩散模型的优势

• 双向上下文建模：信息可从两个方向整合，提升文本连贯性。
• 可控生成：通过调整噪声注入方式，实现更灵活的文本控制。
• 推理加速潜力：相比 AR 模型，扩散架构可能实现更高效的采样优化。

行业影响与未来展望

• 挑战自回归主流地位：当前几乎所有顶级 LLM（如 GPT-4、DeepSeek）均采用 AR 架构，但 Dream 7B 证明扩散模型在 NLP 领域同样具有竞争力。
• 开源推动研究：模型权重、代码已公开（Hugging Face），加速社区探索。
• 潜在应用：适用于复杂推理、规划任务（如 AI 代理、自动化决策），以及需要灵活生成顺序的场景（如交互式写作、代码补全）。

Dream 7B 的发布标志着扩散语言模型进入新阶段，未来可能在推理密集型任务中超越 AR 模型。尽管自回归架构仍是主流，但扩散模型的崛起为 LLM 发展提供了新范式，值得持续关注。