字节跳动推出升级版图像编辑工具SeedEdit 3.0,增强细节保留功能
发布时间:2025-06-06 14:19:46 | 责任编辑:张毅 | 浏览量:89 次
6月6日,字节跳动Seed团队正式发布了图像编辑模型SeedEdit3.0。这一全新版本的图像编辑模型在图像主体保持、背景细节处理以及指令遵循等方面取得了显著进步,极大地提升了图像编辑的可用率和效率。
SeedEdit3.0是基于文生图模型Seedream3.0开发的,通过引入多样化的数据融合方法和特定奖励模型,解决了以往图像编辑模型在主体与背景保持、指令遵循等方面的不足。该模型能够处理并生成4K分辨率的图像,在编辑区域的精细处理和非编辑区域的高保真保持方面表现出色。尤其在人像编辑、背景更改、视角与光线转换等复杂场景中,SeedEdit3.0展现了卓越的能力。
例如,在移除图片中多余行人的任务中,SeedEdit3.0不仅能够准确识别并移除无关人物,甚至连人物的影子也能一并去除,显示出强大的细节处理能力。在将2D绘画转换为真实模特的任务中,该模型能够很好地保持人物的衣帽穿搭和手提包等细节,生成的图片兼具时尚街拍感。此外,SeedEdit3.0还能处理复杂的光影变换,从近处的房屋到远处的海水波纹,细节都能合理保留并跟随光线变化进行“像素级”的渲染调整。
为实现这些能力,Seed团队在研发过程中提出了一种高效的数据融合策略,并构建了多种专用奖励模型。通过将这些奖励模型与扩散模型联合训练,团队针对性地改善了关键任务的编辑质量,如人脸对齐、文本渲染等。同时,SeedEdit3.0在推理加速方面也进行了优化,使其能够实现10秒级的快速推理。
在评估SeedEdit3.0的性能时,团队收集了数百张真实与合成的测试图像,并构建了23类编辑操作子任务,涵盖风格化、添加、替换、删除等常见操作以及相机运动、物体位移、场景切换等指令式动作。机器评测结果显示,SeedEdit3.0在编辑保持效果和指令响应能力上均领先于此前版本以及其他同类模型。真人评测结果也表明,SeedEdit3.0的图像保持能力最为突出,可用率达到了56.1%,较此前版本有了显著提升。
SeedEdit3.0的发布,标志着图像编辑技术在AI领域的又一次重要进步。该模型不仅在技术上实现了多项创新,更在实际应用中展现出极高的实用性和效率。目前,SeedEdit3.0的技术报告已经对外公开,模型也在即梦网页端开启了测试,豆包App也即将上线。用户可以通过上传参考图并输入修改Prompt来体验这一强大的图像编辑工具。
项目主页:
https://seed.bytedance.com/seededit
技术报告:
https://arxiv.org/pdf/2506.05083
体验入口:
即梦网页端-图片生成-上传参考图-选择图片3.0模型-输入修改 Prompt(灰度测试中);
豆包 App-AI 生图-添加参考图-输入修改 Prompt(即将上线)。
字节跳动于2025年6月6日正式发布了图像编辑模型SeedEdit 3.0,该版本在细节保持能力上取得了显著提升。
技术亮点与性能提升
SeedEdit 3.0基于文生图模型Seedream 3.0开发,通过引入多样化的数据融合方法和特定奖励模型,解决了以往图像编辑模型在主体与背景保持、指令遵循等方面的不足。该模型能够处理并生成4K分辨率的图像,在编辑区域的精细处理和非编辑区域的高保真保持方面表现出色。例如,在移除图片中多余行人的任务中,SeedEdit 3.0不仅能够准确识别并移除无关人物,甚至连人物的影子也能一并去除。
此外,SeedEdit 3.0在将2D绘画转换为真实模特的任务中,能够很好地保持人物的衣帽穿搭和手提包等细节,生成的图片兼具时尚街拍感。在光影变换处理上,该模型也能合理保留细节并进行“像素级”的渲染调整。
评估与优化
为评估SeedEdit 3.0的性能,团队收集了数百张真实与合成的测试图像,并构建了23类编辑操作子任务。机器评测结果显示,SeedEdit 3.0在编辑保持效果和指令响应能力上均领先于此前版本以及其他同类模型。真人评测结果也表明,SeedEdit 3.0的图像保持能力最为突出,可用率达到了56.1%,较此前版本有了显著提升。
在训练与推理加速方面,SeedEdit 3.0采用了多种有效方案,包括蒸馏模型方法、CFG蒸馏、统一噪声参照、自适应时间步采样、少步高保真采样和量化等。这些优化使得SeedEdit 3.0能够实现10秒级的快速推理。
应用场景
SeedEdit 3.0在人像编辑、背景更改、视角与光线转换等复杂场景中展现了卓越的能力。例如,在处理复杂的光影变换时,从近处的房屋到远处的海水波纹,细节都能合理保留并跟随光线变化进行调整。此外,该模型还支持对同一图像进行多轮创意修改,用户可以反复更改二次元角色的服装、配饰、动作或背景。
体验与反馈
SeedEdit 3.0的技术报告已经对外公开,模型也在即梦网页端开启了测试,豆包App也即将上线。用户可以通过上传参考图并输入修改Prompt来体验这一强大的图像编辑工具。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。