OmniSVG官网

OmniSVG 图文介绍：

OmniSVG是统一可缩放矢量图形（SVG）生成模型，以下是其主要内容概括：

研究背景与动机

• SVG是一种重要的图像格式，因其分辨率独立性和可编辑性在图形设计中被广泛应用。
• 现有生成高质量SVG的方法存在局限性，要么计算成本高昂且输出无结构，要么只能生成简化结构的单色图标。

OmniSVG模型

• 提出OmniSVG框架，利用预训练的视觉语言模型（VLMs）进行端到端多模态SVG生成。
• 通过将SVG命令和坐标参数化为离散标记，OmniSVG将结构逻辑与低级几何解耦，实现高效训练，同时保持复杂SVG结构的表达能力。

数据集与评估协议

• 为推动SVG合成发展，引入MMSVG-2M数据集，包含200万个丰富注释的SVG资产，以及针对条件SVG生成任务的标准化评估协议。

实验与性能

• 实验表明OmniSVG优于现有方法，展现出融入专业SVG设计工作流程的潜力。

方法概述

• OmniSVG基于预训练视觉语言模型Qwen-VL构建，包含SVG标记器，将文本和图像输入标记为前缀标记，SVG标记器将矢量图形命令编码到统一表示空间。

生成过程

• 文本到SVG、图像到SVG、角色参考SVG等多种生成方式，展示了从简单图标到复杂动漫角色的高质量SVG生成能力。

数据集构成

• MMSVG-2M数据集包含图标、插画和角色三个子集，部分数据来自互联网，部分由数据创建流程生成，为图像提示任务提供图像和SVG配对。

相关工作与致谢

• 感谢IconShop、LLM4SVG、StarVector等开源工作和相关研究的贡献，以及数据集构建和讨论的参与者。

引用信息

• 提供了OmniSVG的BibTeX引用格式。