PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

发布时间:2024-04-28 16:32:36 · 责任编辑:字母汇 · 浏览量:305 次

大模型时代,一场视觉媒介的技术革新正在来临。去年9月,生数科技旗下视觉创意平台PixWeaver上线文生图,支持多风格且高美学图像的创作。

期间经过多次的迭代探索,PixWeaver于近期迎来全新版本的升级,文图任务的语义理解能力实现质的飞跃,同期上线文生视频新功能,支持秒级创作高水准的视频内容。

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

即刻上手体验https://pw.shengshu-ai.com

文生图升级

语义理解能力MAX

语义理解是衡量多模态能力的关键维度。在图像任务中,语义理解是基础,只有更好的理解用户的文本意图,才能有效的传递给生成模型,生成的图像才能更准确、质量更高。

具体看,PixWeaver此次上线的新版图文模型对数量关系、空间关系、颜色、物理关系、多类别元素等语义细节,以及对中国特色元素的理解更加准确。

描述词:一扇窗户前的红色桌子上放着一个装满鲜花的花瓶和一个茶杯,杯子外面写着字母“A", 还有一本杂志,安迪·沃霍尔,波普艺术风格

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:公园里的竹林里挂着红色灯笼,旁边盛开着粉红色的梅花,远处是一座亭台楼阁,夕阳洒在蜿蜒的公园小路呈现出温暖的感觉,宝丽来照片风格,真实摄影

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

测评显示,新版模型的语义理解水平较旧版整体提升了24%,在国内图文大模型的测评中排名第一,整体能达到Midjourney V6、DALL·E 3的90%水平,实现质的飞跃。

描述词:A young boy, a young girl With a red bow on her head, Disney style, fantastic style, rtx, game cg, 3D

一个小男孩,一个头上戴着红色蝴蝶结的小女孩,迪士尼风格,梦幻风格,rtx,游戏cg,3D

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

PixWeaver新版

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

PixWeaver旧版

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

DALL·E 3

👉 向右滑动查看对比效果

文生视频上线

一键生成、秒级创作

此次升级,PixWeaver也同步上线了文生视频功能,无需专业视频制作技巧,只需输入简单文字即可一键生成具有想象力、高美学性的视频画面。

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

支持中英文输入、秒级生成,整个过程丝滑流畅,无论是普通用户,还是经验丰富的专业创作者,每个人都能轻松享受视频创作的乐趣。综合看,PixWeaver的文生视频功能具备以下三大优势:

清晰流畅:画面具有较好的连贯性和时间一致性,画面最高可达1024*1024的分辨率,保证每一帧画面的高质量;

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:Tropical fish swimming freely at the bottom of the sea,close up of colored corals, bokeh style, vibrant colors, rich in details 

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:汹涌的海浪冲击着金色海滩,日落照明,8k,高品质

 

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:British orange short-haired cat, lying lazily on the bed, background bokeh

 

👉 向右滑动查看更多

高美学性:引入美学专家进行微调训练,从画面构图、色彩呈现、光影细节到动态呈现方式都追求美感,在保证语义准确的同时兼具较好的观赏性;

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:An iridescent Crystal Orchid swinging gently, minimalist, holographic light effects,Crystal Glitter, Professional Floral Art,Twinkling stars

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:蓝蓝的天空,白云朵朵,雨后阳光穿透云层,彩虹,概念艺术,Craig Mullins,cg 效果,高清画质 

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:汹涌的海浪冲击着金色海滩,日落照明,8k,高品质

👉 向右滑动查看更多

自然运镜:引入自然的镜头轨迹、切换角度与速度等,稳定、自然的运镜能有效提升画面的质感,特别是在移动拍摄或动态场景中;

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:川流不息的河流,张家界的山水风光,树木,茂密的原始森林,概念艺术,Craig Mullins,cg 效果,高清画质

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:森林里有池塘和树木,概念艺术,Craig Mullins,cg 效果,高清画质

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

描述词:An iridescent Crystal Orchid swinging gently, minimalist, holographic light effects,Crystal Glitter, Professional Floral Art,Twinkling stars

👉 向右滑动查看更多

从效果看,PixWeaver支持动漫、卡通、电影等多种视频风格的生成,从画面水准看,PixWeaver已达到国际一流水平。

描述词:海浪拍打着孤零零的灯塔,不祥的灯光

Waves crashing against a lone lighthouse, ominous lighting

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

PixWeaver

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

Runway

PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!

PIKA Labs

👉 向右滑动查看对比效果

传统视频制作需要脚本构思、拍摄、调色、剪辑等诸多环节,具有极高的专业门槛,而PixWeaver将复杂操作简化为直观的语言指令,任何人都能轻松创建出高水准的视频内容。

作为多模态领域的重点工作,图像生成、视频生成的一键创作能力将对影视动画、游戏娱乐等创意行业带来颠覆影响。

未来PixWeaver也将持续迭代,进一步提升模型在生成质量、美学性、连贯性等方面的效果,同时进一步丰富AI生成功能,致力于让每个人都能随心创作、尽情释放想象力。

体验网址https://pw.shengshu-ai.com

       

原文始发于微信公众号(生数ShengShu):PixWeaver升级:更懂语义的文图生成、秒级文生视频上线!