Runway推出了革命性的AI视频生成工具Act-One
发布时间:2024-10-24 15:47:26 · 责任编辑:字母汇 · 浏览量:148 次
AI初创企业Runway推出了革命性的AI视频生成工具Act-One，它允许用户通过任何视频摄像头录制面部表情，并将其精确映射到AI生成的角色上，从而快速生成具有丰富表情的角色动画。这一工具简化了传统复杂的动画制作过程，降低了技术门槛，使得独立电影制作和数字媒体领域的创作者可以探索新的故事叙述形式和艺术表达方式。Act-One的推出预示着视频叙事内容创作方式的革新，为创作者提供了前所未有的便利。
2024 年 10 月 22 日，Runway 推出了革命性的 AI 视频生成工具 Act-One。Act-One 集成在了 Runway 的视频生成模型 Gen-3 Alpha 中，用户可以使用手机或单反轻松录制自己或别人的视频，然后借助 Act-One 功能将录制对象的脸部表情转移到 AI 生成的角色上。从今天开始，该公司已逐渐向现有用户开放 Act-One 功能，并计划在未来不久内全面开放给所有用户。
Act-One 在使用生成模型来重现真人动作和动漫内容方面迈出了重要的一步。所有拥有 Runway 帐户的用户都可以尝试这项新功能，通过 Gen-3 Alpha 视频生成模型来创建新的视频。不过，目前只有积分充足的用户能够使用该功能。Gen-3 Alpha 于去年早些时侯推出，支持多种输入方法，包括文字转视频、图片转视频及视频转视频。用户可以通过描述场景、上传图片或视频，或则结合这种元素，让 Gen-3 Alpha 基于输入内容生成全新的视频。
传统的背部动漫制做一般是一个复杂且历时的过程，涉及动作捕捉设备、手动背部绑定和多个参考镜头。而 Act-One 使这一复杂过程显得愈发简单易懂。Act-One 专注于脸部表情建模，用户可以通过简单的摄像机设置确切捕捉艺人的演出，包括目光、微表情和微妙的节奏。这样，创作者可以以各类风格和设计制做角色动漫，而无需使用动作捕捉设备或进行角色绑定。
Runway 最近在好莱坞电影制作领域取得了重大进展，上个月该公司宣布同电影制片公司 Lionsgate 建立合作关系。这次合作将使双方基于 Lionsgate 超过 2 万部电影的庞大电影库，共同开发定制的 AI 视频生成模型。Act-One 的推出无疑为 AI 视频创作领域带来了一场革命，为创作者提供了更多的创作可能性和便利性。
Act-One 的功能有哪些
Act-One 是一款具有革命性的 AI 视频生成工具。它能够将视频和语音输入转换成任意风格的虚拟角色动画，同时保持表情、语音和口型的同步。Act-One 还可以通过降低技术门槛，使得更多创作者能够探索新的故事叙述形式和艺术表达方式，在独立电影制作和数字媒体领域具有革新意义。
Act-One 在面部表情捕捉方面表现出色，能够精准捕捉演员在复杂场景中的情感深度和表演风格。用户能够使用任何视频摄像头，包括内置于智能手机中的摄像头，来录制自己或演员的面部表情。随后，这些表情将以极高的精确度被映射到 AI 生成的角色上，实现了前所未有的真实感。
此外，Act-One 集成在了 Runway 的视频生成模型 Gen-3 Alpha 中。Gen-3 Alpha 支持多种输入方法，包括文字转视频、图片转视频及视频转视频。用户可以通过描述场景、上传图片或视频，或者结合这些元素，让 Gen-3 Alpha 基于输入内容生成全新的视频。所有拥有 Runway 帐户的用户都可以尝试 Act-One 新功能，通过 Gen-3 Alpha 视频生成模型来创建新的视频。不过，目前只有积分充足的用户能够使用该功能的全部功能。
Act-One 如何使用
用户可以使用任何视频摄像头，包括手机或单反，轻松录制自己或别人的视频。然后，借助 Act-One 功能将录制对象的脸部表情转移到 AI 生成的角色上。
首先，用户需要拥有一个 Runway 帐户。从 2024 年 10 月 23 日开始，Runway 已逐渐向现有用户开放 Act-One 功能，并计划在未来不久内全面开放给所有用户。
如果用户积分足够且使用过 Gen-3 Alpha 模型，就能使用 Act-One 的全部功能。Gen-3 Alpha 模型具备先进的 AI 视频生成能力，支持从文字描述、图片或现有视频生成新内容。用户可以提供场景描述、上传静态图像或视频，甚至可以组合这些不同的输入元素。Gen-3 Alpha 会综合这些信息，生成符合用户需求的新视频场景。
Act-One 对视频创作的影响
Act-One 为 AI 视频创作带来了革命性的变化。它简化了传统上复杂且设备繁多的创作过程。传统上，制作面部动画是一个既复杂又繁琐的过程，涉及到动作捕捉设备、手工面部绑定和多角度的参考影像。而 Act-One 仅需一台普通摄像头即可制作逼真动画，极大地提高了创作效率。
Act-One 为创作者提供了极大的创作自由。它支持多种角色风格，能够处理复杂的多轮对话场景，让创作者可以轻松地实现各种创意想法。例如，用户可以通过 Act-One 制作具有丰富表情的角色动画，为故事增添更多的情感深度和吸引力。
Act-One 的出现也为独立电影制作和数字媒体领域带来了新的机遇。它降低了技术门槛，使得更多的创作者能够参与到视频创作中来，促进了行业的创新和发展。
Runway 与 Lionsgate 的合作
人工智能初创公司 Runway 和好莱坞电影制片厂狮门影业（Lionsgate）已宣布合作构建和训练一种新的人工智能视频生成模型，并使用狮门影业的专有电影目录进行微调。
这一合作将为狮门影业的电影制作人、导演和其他创意人才提供新的工具和技术，增强他们的工作效率。据报道，这些公司宣称该项目是一种 “帮助狮门影业工作室、其电影制作人、导演和其他创意人才增强其工作” 的途径。
目前关于该模型实际如何运作的细节甚少，但可以想象，通过利用狮门影业丰富的电影目录进行训练，该模型有望生成高质量的电影视频，并可以使用 Runway 的其余人工智能工具套件进一步完善和迭代。
此外，Runway 也在考虑如何把自身模型授权给个人创作者，让其作为构建其自有专有模型的模板，但并未给出这一决定的具体时间安排。
AI 视频生成工具的发展前景
AI 视频生成工具在 2024 年迎来了爆炸性的发展，成为了科技圈和投资界的热门话题。以 Act-One 为代表的 AI 视频生成工具展示了巨大的潜力和广泛的应用前景。
从全球市场需求来看，随着数字媒体的发展，全球对高质量视频内容的需求不断增长。全球市场空间广阔，为 AI 视频生成工具提供了巨大的市场机会。例如，东南亚、北美、欧洲、拉丁美洲以及中东、北非等地区，都是国产 AI 大模型出海的热门目的地。这些地区对 AI 视频生成技术的需求旺盛。
在技术方面，中国在 AI 视频生成技术领域具有明显优势，有望在全球市场占据领先地位。例如，快手推出的视频生成大模型 “可灵 AI”，能够生成大幅度的合理运动，具备强大的概念组合能力和想象力，已经被业界视为 Sora 的有力挑战对手。
AI 视频生成工具还能够促进跨文化交流。通过 AI 技术生成多语言版本视频，让不同国家和地区的人们更容易理解和欣赏彼此的文化。
此外，AIGC（生成式人工智能）作为创造性产品，在海外无论是 to B 还是 to C 用户，其创造性和付费意愿都比国内更强。这为中国 AI 视频生成技术的海外推广提供了有利的市场环境。
然而，AI 视频生成工具的发展也面临一些挑战。例如，高昂的成本和尚未成熟的技术路线，都让这个领域的前景充满了不确定性。同时，版权问题也是一个需要关注的问题。一些公司被指控未经许可使用受版权保护的作品训练模型。
总的来说，AI 视频生成工具具有巨大的发展潜力，但也需要不断克服技术和法律等方面的挑战，才能实现可持续发展。
Runway 推出的革命性 AI 视频生成工具 Act-One 在功能、使用方法、对视频创作的影响以及与 Lionsgate 的合作等方面都展示了其独特的价值。同时，AI 视频生成工具的发展前景广阔，但也面临着诸多挑战。随着技术的不断进步和市场的不断发展，相信 AI 视频生成工具将会在未来的视频创作领域发挥更加重要的作用。