字节跳动推出XVerse革新图像合成技术：实现对多个元素的精准独立操控

字节跳动发布的XVerse是一种创新的图像合成技术，其主要特点和优势如下：

技术原理

• 基于文本流调制的偏移量：XVerse的核心方法是将参考图像转换为基于token的文本流调制偏移量。给定条件图像和文本提示，先使用CLIP模型提取图像特征和文本特征，然后通过T-Mod Adapter生成跨模态偏移量，将其添加到处理扩散步长和文本嵌入的MLP输出中，形成调整后的条件信号，用于调制DiT block中文本特征相关的参数，实现对特定token语义的精确控制。

• 偏移量的分解与应用：进一步将偏移量分解为跨所有DiT block的共享偏移量和每个block的独立偏移量，应用于每个block的条件信号，从而实现更精细、适应性的控制。

• 辅助的VAE特征：XVerse还将VAE编码的参考图像特征作为辅助模块，仅限制注入到FLUX模型中的特定单个block中，并将潜在空间中图像patch的位置索引从二维转换为单独的索引，以有效区分不同区域，增强细节保持能力。

技术优势

• 多主体独立控制：首次实现了多主体身份与语义属性的独立精准控制，突破了传统扩散模型在多目标编辑时的属性纠缠瓶颈，可同时控制多个主体的属性，且参数增量小。

• 生成质量高：避免了直接修改潜在特征，保证了编辑后图像的保真度，提升了生成图像的质量，实验结果表明其在FID指标上比基线模型降低，在CLIP-T分数上提升。

• 泛化能力强：主要在文本空间进行注入的方法可以自然地泛化到对姿态、光照、风格等高层语义属性的控制，适用于多种场景和对象。

• 无需微调：作为一种无需微调的多主体个性化方法，降低了模型的训练和使用成本。

应用场景

• 影视制作：可用于影视角色的多姿态合成，实现不同角色在各种场景下的精准控制和自然呈现，提高影视制作的效率和质量。

• 电商领域：在电商多商品场景搭建中，能够精确控制多个商品的特征和布局，生成更符合需求的商品展示图像，提升用户体验。

• 个性化内容生成：满足用户对个性化图像内容的需求，如根据用户提供的参考图像和描述生成独特的图像作品，应用于艺术创作、广告设计等领域。

评估与局限性

• 评估结果：XVerse在XVerseBench基准测试上的总体分数和多主体任务的平均分数均领先于现有的多种SOTA方法，定性结果也显示其在主体一致性、物体数量与关系处理以及图像自然度方面表现更优。

• 局限性：复杂多主体交互的高质量跨图像数据集稀缺，可能限制模型在某些复杂场景下的性能提升。此外，当前研究主要集中在文本流调制路径，未来可探索图像调制技术的潜力。