全新Qwen VLo推出：通义千问的多模态统一理解和生成系统

阿里云通义千问于2025年6月27日正式推出了Qwen VLo，这是一个多模态统一理解与生成模型。以下是关于Qwen VLo的详细介绍：

模型能力

• 精准理解与高质量生成：Qwen VLo能够精准理解图像内容，并在此基础上进行一致性和高质量的生成。它在图像内容理解与生成方面取得了显著进展，避免了以往多模态模型在生成过程中容易出现的语义不一致问题。

• 渐进式生成机制：Qwen VLo采用从左到右、从上到下的渐进式生成方式，逐步构建图像内容。在生成过程中，模型会不断调整和优化预测内容，确保最终结果的和谐一致。这种机制特别适用于需要精细控制的长段落文字生成任务。

• 动态分辨率训练与生成：Qwen VLo支持动态分辨率训练与生成，无论是输入端还是输出端，都支持任意分辨率和长宽比的图像。这意味着用户可以根据实际需求生成适配不同场景的图像内容。

• 开放指令编辑修改生成：用户可以通过自然语言提出各种创意性指令，如改变画风、添加元素或调整背景等。Qwen VLo能够灵活响应这些开放性指令，并生成符合用户预期的结果。

• 多语言指令支持：Qwen VLo支持包括中文、英文在内的多种语言指令，打破了语言壁垒，为全球用户提供了统一且便捷的交互体验。

模型架构

• 视觉编码器：采用Vision Transformer（ViT）架构，将输入图像分割成多个固定大小的Patch，并将其转换为序列化的特征向量。为了支持动态分辨率，Qwen VLo修改了ViT，去除了原始的绝对位置嵌入，并引入了2D-RoPE来捕获图像的二维位置信息。

• 输入投影层：通过一个单层的交叉注意力模块，将视觉特征序列压缩到固定长度，以提高处理效率。同时，该模块会整合二维绝对位置编码，以保留位置信息。

• 大型语言模型：以Qwen-7B为基础，使用预训练权重进行初始化，负责处理语言模态的输入。

• 输出投影层：将LLM生成的特征映射到模态生成器可理解的特征空间，通常是一个简单的Transformer层或MLP层。

• 模态生成器：基于LDM的衍生模型，负责生成最终的图像输出。

训练方法

• 单任务大规模预训练：使用大量图文对数据进行预训练，训练数据的图片统一处理为224×224的尺寸。此阶段主要训练模型的视觉模态对齐语言模型的能力。

• 多任务预训练：使用更高分辨率（448×448）的数据，引入多个视觉和文本生成任务，提升模型的多模态任务处理能力。

• 指令微调：通过人工标注、模型生成等方式构造多模态多轮会话数据，提升模型的指令遵循能力和对话能力。

应用场景

Qwen VLo适用于多种场景，包括但不限于：

• 图像编辑与风格迁移：用户可以通过自然语言指令要求模型对图像进行风格转换、场景重构或细节修饰。

• 创意设计：如海报设计、插图创作、网页Banner制作、社交媒体封面设计等。Qwen VLo能够根据用户的需求生成适配不同场景的图像内容。

• 长段落文字生成任务：如广告设计、漫画分镜创作等。Qwen VLo的渐进式生成机制让用户可以实时观察生成过程，并根据需要进行调整。

体验方式

用户可以通过Qwen Chat（chat.qwen.ai）进行Qwen VLo的体验。