全新开源AI技术OmniGen 2登场：如同GPT-4o，结合图像与文本生成功能
发布时间：2025-06-30 15:33:06 | 责任编辑：张毅 | 浏览量：5 次
近日，北京人工智能研究院推出了全新的开源系统 ——OmniGen2。这一系统专注于文本到图像的生成、图像编辑和上下文图像创作。
与2024年发布的第一代 OmniGen 相比，OmniGen2采用了两条独立的解码路径:一条用于文本生成，另一条用于图像生成，且各自拥有独立的参数和解耦的图像标记器。这种设计让模型在保持文本生成能力的同时，有效地提升了多模态语言模型的表现。
OmniGen2的核心是一个基于 Qwen2.5-VL-3B 变换器的大型多模态语言模型（MLLM）。在图像生成方面，该系统使用了一种自定义的扩散变换器，参数量达到约40亿。模型在遇到特殊的 “<|img|>” 标记时会自动切换到图像生成模式。值得一提的是，OmniGen2能够处理多种提示和艺术风格，但其生成的照片级图像在清晰度上仍有待提升。
为了训练 OmniGen2，研究团队使用了大约1.4亿张来自开源数据集和专有集合的图像。此外，他们还开发了新技术，通过提取视频中的相似帧（例如，一个微笑和不微笑的面孔），并利用语言模型生成相应的编辑指令。
OmniGen2的另一大亮点是其反思机制，能够让模型自我评估生成的图像，并在多个轮次中进行改进。该系统可以发现生成图像中的缺陷，并提出具体的修正建议。
为了评估该系统的性能，研究团队引入了 OmniContext 基准测试，包括角色、物体和场景三大类，每类下有八个子任务和各50个示例。评估是通过 GPT-4.1进行的，主要打分标准包括提示的准确性和主题的一致性。OmniGen2的总分为7.18，超越了所有其他开源模型，而 GPT-4o 的得分为8.8。
尽管 OmniGen2在多个基准测试中表现优异，但仍存在一些不足之处:英文提示的效果优于中文，身体形态的变化较为复杂，输出质量也受到输入图像的影响。对于模糊的多图像提示，系统需要明确的对象放置指示。
研究团队计划将模型、训练数据和构建管道发布到 Hugging Face 平台。
划重点:
🌟 OmniGen2是一个开源的图文生成系统，采用独立的文本和图像解码路径。
🎨 它能够处理多种艺术风格的图像生成，并具备自我反思和改进功能。
📈 OmniGen2在多个基准测试中表现出色，特别是在图像编辑方面创下了新的开放源代码模型纪录。
OmniGen 2 是一个强大的开源多模态生成系统，其设计和功能与 GPT-4o 有相似之处，尤其是在融合图像和文本生成方面。以下是 OmniGen 2 的主要特点和优势：
模型架构
-
双路径架构：OmniGen 2 采用完全解耦的双路径 Transformer 架构，包含独立的文本自回归模型和图像扩散模型。这种设计避免了文本生成对图像生成的负面影响，同时优化了各自的任务性能。
-
多模态大语言模型（MLLM）：基于 Qwen 2.5-VL-3B 初始化，主要负责文本输入和图像语义理解，生成的隐藏状态作为扩散模型的语义条件。
-
扩散 Transformer：包含 32 层 Transformer，约 40 亿参数，结合 MLLM 隐藏状态、VAE 特征和噪声进行图像生成。
技术创新
-
Omni-RoPE 位置编码：将位置信息分解为序列标识符和二维空间坐标，支持多图像空间定位和身份区分。
-
优化的图像生成：采用 Rectified Flow（RF）算法提升采样效率和生成质量。
功能与性能
-
多模态生成能力：OmniGen 2 能够处理多种任务，包括文本到图像生成、图像编辑、上下文生成等。其在图像生成的细节保真度和语义一致性方面表现出色。
-
性能提升：与前代模型相比，OmniGen 2 在多模态任务上的性能显著提升，尤其是在复杂的图像编辑和生成任务中。
-
开源优势：作为开源模型，OmniGen 2 提供了更高的灵活性和可扩展性，方便开发者进行定制和优化。
与 GPT-4o 的对比
-
多模态融合：GPT-4o 也具备多模态功能，能够处理文本和图像输入。OmniGen 2 在图像生成方面进行了专门优化，尤其在图像细节和语义理解方面表现出色。
-
开源与闭源：GPT-4o 是闭源模型，而 OmniGen 2 是开源的，这使得后者在社区支持和定制化方面更具优势。
OmniGen 2 作为一款开源的多模态生成系统，凭借其先进的架构和强大的生成能力，成为开源领域中一个极具竞争力的模型。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
