新型自回归Transformer由三星研究院发布，提升高分辨率图像生成能力

最近，三星研究院推出了一种新型自回归Transformer，用于高分辨率图像生成。以下是该技术的相关介绍：

技术原理

• 分层生成策略：该方法将图像生成分为“基础”与“细节”两个层次，首先生成一个平滑的基础图像，再通过迭代的方式逐步添加细节，最终形成一个连贯的高质量图像。这种分层组合的策略比传统方法更有效，特别是在处理高分辨率图像时，它具有更好的可扩展性，且不需要对整个模型进行重新训练。

• 边缘感知平滑技术：在自回归模型的学习过程中，图像标记的处理顺序对生成结果有着重要影响。三星的研究团队通过创新性地使用边缘感知平滑技术，将训练图像分解为不同的细层次，从而实现了对细节的增量控制。

• 模型训练步骤：该模型的训练包括三个主要步骤：首先将每个训练图像分解为多个层次的基本细节因素；接着，利用矢量量化变分自编码器（VQ-VAE）对这些因素进行编码，确保在降低维数的同时保留图像的关键特征；最后，采用Transformer解码器架构进行细节因素的迭代预测，从而实现图像细节的可控和逐步添加。

优势

• 高保真度和可扩展性：该方法通过迭代地向图像构图中添加更精细的细节，提高了图像生成的保真度和可扩展性。在生成高分辨率图像时，不需要对完整的模型进行再训练，使其成为高分辨率图像生成的通用解决方案。

• 降低计算复杂性：实验结果表明，该方法不仅在图像生成质量上达到了最先进的水平，还有效降低了与高分辨率输出相关的计算复杂性。

应用前景

该技术为扩散模型及其他技术提供了一个有力的替代方案，展示了未来图像生成技术的广阔前景。它可以应用于虚拟现实等领域，推动这些领域的发展。