推翻旧格局！FUDOKI 系统提升多模态生成和理解的灵活性及效率
发布时间：2025-06-10 19:48:35 | 责任编辑：张毅 | 浏览量：20 次
近年来人工智能领域发生了翻天覆地的变化，尤其是大型语言模型（LLMs）在多模态任务上取得了显著进展。这些模型在理解和生成语言的能力上展现出了强大的潜力，但目前大多数多模态模型依然采用自回归(AR)架构，推理过程较为单一、缺乏灵活性。为此，香港大学和华为诺亚方舟实验室的研究团队提出了一种全新的模型 ——FUDOKI，旨在打破这一局限。
FUDOKI 的核心创新在于其全新的非掩码离散流匹配（Discrete Flow Matching）架构。与传统的自回归模型不同，FUDOKI 通过并行去噪机制，能够实现双向信息整合，从而显著提升模型在复杂推理和生成任务中的表现。该模型不仅在图像生成与文本理解之间架起了桥梁，还实现了两者的统一建模。
这一模型的优势在于其去掩码的设计，使得生成过程更加灵活。FUDOKI 在推理过程中允许动态调整生成结果，仿佛让机器学习到了人类的思维方式。此外，FUDOKI 在生成图像方面的表现尤为出色，在 GenEval 基准上取得了0.76的成绩，超越了同尺寸的自回归模型，展现出高质量的生成效果和语义准确性。
FUDOKI 的构建依赖于度量诱导的概率路径和动力学最优速度。这些技术使得模型能够在生成过程中综合考虑每个 token 的语义相似性，从而实现更加自然的文本和图像生成。同时，在模型训练上，FUDOKI 利用预训练的自回归模型进行初始化，降低了训练成本，提升了效率。
FUDOKI 的推出不仅为多模态生成和理解提供了新的视角，还为通用人工智能的发展奠定了更为坚实的基础。未来，我们期待 FUDOKI 能够带来更多的探索与突破，推动人工智能技术的进一步发展。
FUDOKI模型是由香港大学和华为诺亚方舟实验室共同提出的一种新型多模态生成与理解模型，它基于非掩码离散流匹配（Discrete Flow Matching）架构，突破了传统自回归（AR）和掩码扩散模型的限制，为多模态任务带来了更高的灵活性和效率。
技术创新
-
非掩码离散流匹配架构：FUDOKI摒弃了传统的掩码策略，采用从均匀分布出发的概率路径建模框架，通过并行去噪机制实现双向信息整合。这种机制允许模型在推理过程中动态调整生成结果，更接近人类的思维方式。
-
动力学最优速度：FUDOKI在反向过程中采用动力学最优速度对token进行重采样，能够提升与真实数据token语义相似的候选token的概率，从而扩展采样空间的多样性。
-
高效训练：该模型通过预训练的自回归模型进行初始化，降低了训练成本，同时提高了训练效率。
性能表现
-
图像生成：在Geneval基准测试中，FUDOKI以0.76的高分超越了同尺寸的自回归模型，展现出卓越的生成质量和语义准确性。
-
文本理解：在多模态问答等任务上，FUDOKI接近甚至超过了同参数量自回归模型的性能，同时支持在推理过程中对已生成的回答进行修正。
应用场景
FUDOKI模型适用于多种需要高性能多模态理解和生成的应用场景，例如：
-
图像生成：可以根据文本描述生成高质量的图像。
-
对话系统：能够生成自然流畅的文本回复，并结合图像信息进行更准确的对话。
-
文档理解：可以处理包含文本和图像的复杂文档，提供更全面的理解。
未来展望
FUDOKI的提出为多模态生成与理解领域带来了新的思路，其灵活性和高效性有望为通用人工智能的发展提供更坚实的技术基础。未来，随着技术的进一步发展，FUDOKI可能会在更多领域得到应用和拓展。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
