AIGC巨头SD正式发布免费视频生成工具

发布时间:2024-02-23 23:13:45 · 责任编辑:字母汇 · 浏览量:49 次

原文始发于微信公众号(MetaLib):实测!三大AIGC巨头SD正式发布免费视频生成工具!

从2022年开始,AIGC界逐渐形成了三大巨头,分别是Midjourney、Stable Diffusion和ChatGPT。截止目前,Stable Diffusion的WebUI和ComfyUI工作台已成为AI绘画、设计师们的秘密武器!Midjourney许多可控功能,尤其是V6版本正是为了赶上SD强大的开源拓展能力而补足的。
Stable Diffusion的母公司Stability AI创立于2019年,CEO Emad Mostaque是一位孟加拉裔英国人,虽然在商业上不算成功被各路巨头吊打,但是他所带领的团队以完全开源的精神赢得了业界许多开发者的尊重。围绕SD建立起来的AI绘画生态已经高度成熟而且成为电商、广告、设计、建模等领域的数字化生产力!
Stability AI在视频领域的探索已发表为论文:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

很多人没用过是因为SD有一定的使用门槛,在单机性能、程序配置、工作流构建方面不算太方便,但是使用过的几乎0差评,SD真的很强!

实测!三大AIGC巨头SD正式发布免费视频生成工具!

我想最终Stability AI很难抗住AI军备竞赛的压力,可能会屈从于硅谷和华尔街的资本,但是其倡导并践行的AI为人为中心的理念会越来越得到人们的尊重。
OK,我们进入正题正式测试2月22日Stability AI刚刚发布的新作Stable Video:
(1)登录与使用:
Stability AI为视频生成注册了新地址:https://www.stablevideo.com/
0门槛登录即可立刻使用!新用户每天可获得150个积分,生成一个视频(包括镜头调整)消耗10积分,也就是可以免费生成15个视频,每个视频4秒左右,这点与未正式发布的Sora仍有较大差距,与Runway、Pika类似。
(2)使用方式
主要提供图生视频和文生视频两种方式:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

网站中也提供了许多社区已经生成过的精彩视频供参考。
图生视频需要上传一张图片,目前镜头控制只能选择一个选项;进阶选项中主要是对效果的一些控制,但总体可调参数不多,调节功能需要在未来的开源使用中得以释放:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

在选择完毕后点击生成,然后进入等待界面,注意这个界面等待的时间会非常长

实测!三大AIGC巨头SD正式发布免费视频生成工具!

一方面可以看出视频生成确实对算力的要求非常高;另一方面也是Stable Video上线后用户涌入导致服务器排队。经过昨晚的长时间测试这里有个小技巧,就是卡在这个界面就不管了,等过段时间后在历史记录中可以找到生成的视频并下载。
从多个图生视频的测试来看,未达到预期效果,图中主体不动而是镜头在动。
接下来测试文生视频:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

经过150积分的测试,发现使用过长的提示词,会触发不明审核异常。
同时也有一些乱七八糟的审核标准,例如使用下列两个提示词均提示不能生成。最终将提示词更换为:
A blue cat, fat, is reading a book and smiling, in a library

实测!三大AIGC巨头SD正式发布免费视频生成工具!

这里能够看出来文生视频可以选择风格特征

文生视频的逻辑是先生成四张图,然后选择其中一张再继续图生视频。但是使用它自己生成的图片将来生成的视频效果会好不少。

实测!三大AIGC巨头SD正式发布免费视频生成工具!

选择第四章,继续生成

实测!三大AIGC巨头SD正式发布免费视频生成工具!

仔细看着四幅图其实质量还是蛮高的,尤其是把蓝猫的毛发、指头细节都画出来了,甚至毛发都出现了“蒜瓣肉”!接着生成视频一起来看看效果:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

为了测试文生图中的“风格”,接着使用提示词
A blue cat, fat, in outer space in a spacesuit, background is the Earth
生成四副图效果如下:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

选择图1,使用“pan”镜头效果继续生成:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

最后使用“lots of Pokémons and Digimons in the Woods”作为提示词继续生成测试,同时也参考了其他社区用户的生成案例,如下:

实测!三大AIGC巨头SD正式发布免费视频生成工具!

总结:虽然视频生成的效果和长度不算太理想,但SV还是令人期待,相较之下SD也是以开源生态见长的,相信SV形成开源生态,势必会对视频生成产生巨大影响,毕竟Sora的开放测试还不知道猴年马月呢,Runway、Pika又是收费怪,0门槛使用才是王道!