蚂蚁集团与inclusionAI携手推出Ming-Omni：开创首个公开多模态GPT-4o版

蚂蚁集团和Inclusion AI联合推出了名为Ming-Omni的开源多模态大模型，这是首个在模态支持能力上与GPT-4o相当的开源模型。以下是关于Ming-Omni的详细介绍：

技术特点

• 多模态处理能力：Ming-Omni能够处理图像、文本、音频和视频等多种模态的输入和输出。它使用专用编码器从不同模态中提取tokens，这些tokens随后由基于混合专家（MoE）架构的“Ling”模块处理，该模块配备了新提出的模态专用路由器。这种设计使得单一模型能够在统一框架内高效处理和融合多模态输入，支持多样化任务，无需单独模型、任务特定的微调或结构重构。

• 生成能力：Ming-Omni支持音频和图像生成。它通过集成先进的音频解码器实现自然语音生成，并使用高质量图像生成模型“Ming-Lite-Uni”确保图像生成的精细度。此外，该模型还能够进行上下文感知聊天、文本到语音转换以及多样化的图像编辑。

• 语言处理能力：Ming-Omni具备对方言的理解和语音克隆功能，可以将输入的文本转换为多种方言的语音输出，展现了其强大的语言适应性。

性能表现

• 多模态理解：在多模态理解任务中，Ming-Omni表现出色。例如，在MMBench、MMMU等基准测试中，其平均得分71.4，与Qwen2.5-VL-7B相当。

• 图像生成：在图像生成方面，Ming-Omni的GenEval得分0.64，优于SDXL，FID（Fréchet Inception Distance）低至4.85，创下新高。

• 语音处理：在端到端语音理解和指令跟随上，Ming-Omni超越了Qwen2.5-Omni和Kimi-Audio，平均得分达4.34（SpeechQA基准）。

开源与社区贡献

Ming-Omni是目前已知的首个在模态支持上与GPT-4o相当的开源模型。Inclusion AI和蚂蚁集团承诺将所有代码和模型权重公开，旨在激励社区的进一步研究与开发，推动多模态智能技术的不断进步。

应用前景

Ming-Omni的发布为多模态智能领域注入了新的活力，也为各类应用提供了更多可能性。其强大的多模态处理和生成能力使其在智能交互、内容创作、教育、娱乐等多个领域具有广泛的应用潜力。

模型参数

Ming-Omni基于Ling-lite构建，采用MoE架构，总参数为220亿，激活参数为30亿。