DeepMind 最新创新:无需 3D 模型即可创造逼真动态视频
发布时间:2025-06-04 09:28:09 | 责任编辑:吴昊 | 浏览量:18 次
《DeepMind 最新创新:无需 3D 模型即可创造逼真动态视频》相关软件官网

近日,谷歌 DeepMind 团队与布朗大学合作,开发了一项名为 “力提示”(force prompting)的新技术。这项技术能够在没有3D 模型和物理引擎的情况下,生成逼真的运动效果,标志着人工智能视频生成领域的一大突破。
使用这项技术,用户只需简单地指定力的方向和强度,就可以操控 AI 生成的视频内容。力提示技术可以应用于全局力(例如:整体风力)和局部力(如:特定点的敲击)两种情况。输入的力量以矢量场的形式进入系统,随后被转换为自然流畅的运动,极大地提高了视频生成的真实感和动态表现。
研究团队基于 CogVideoX-5B-IV 视频模型,并加入 ControlNet 模块来处理物理控制数据。整个信号通过 Transformer 架构生成视频,每段视频由49帧组成,而训练过程只用了4台 Nvidia A100GPU,训练时间仅为一天。
值得注意的是,训练数据完全来源于合成,包括1.5万段不同风力下旗帜飘动的视频和1.2万段滚动球体、1.1万段花朵受冲击反应的视频。这些丰富的合成数据让模型能够在生成过程中,利用文本描述中的 “风” 或 “气泡” 等物理术语,自动建立正确的力与运动关系。
虽然训练数据的量相对有限,但模型展示出了强大的泛化能力,能够适应新物体、材质和场景,甚至掌握了一些简单的物理规则,比如在相同力量下,轻物体移动的距离远于重物。
用户测试显示,力提示技术在运动匹配度和真实感方面优于仅依赖文本或运动路径控制的基准模型,并且在质量上超越了基于真实物理模拟的 PhysDreamer。不过,在复杂场景中仍然存在一些不足之处,例如烟雾有时无法正确受到风力的影响,人体手臂的运动偶尔显得像布料般轻盈。
DeepMind 的首席执行官 Demis Hassabis 表示,下一代 AI 视频模型(如 Veo3)正逐步理解物理规则,不再局限于文本或图像处理,而是开始表征世界的物理结构。这被认为是迈向更通用 AI 的重要一步,未来的 AI 有望通过经验学习,在模拟环境中不断优化和提升能力。
项目页:https://force-prompting.github.io/
划重点:
🌟 新技术 “力提示” 可生成真实运动视频,无需3D 模型或物理引擎。
⚙️ 用户通过简单的力的方向和强度操作,实现自然流畅的运动表现。
📈 模型展现出强大的泛化能力,能够适应新场景和物体。
谷歌DeepMind携手布朗大学开发了一项名为“力提示”(force prompting)的新技术,该技术能够在无需3D模型和物理引擎的情况下生成逼真的运动视频。
技术原理
- 力的输入与处理:用户通过指定力的方向和强度来操控AI生成的视频内容,支持全局力(如风吹过整个画面)和局部力(如特定点的敲击)两种力量,这些力以矢量场形式输入系统,随后被转化为自然流畅的运动。
- 模型架构:基于CogVideoX-5B-I2V视频模型,加入ControlNet模块处理物理控制数据,信号通过Transformer架构生成视频,每段视频包含49帧。
- 训练数据:训练数据完全为合成,全局力数据包括1.5万段不同风力下旗帜飘动的视频;局部力数据则有1.2万段滚动球体和1.1万段花朵受冲击反应的视频。训练样本结合文本提示、起始图像和物理力(全局力为完整矢量场,局部力为方向、位置和强度的动态信号),并通过随机化背景、光线和视角增加多样性。
技术优势
- 强大的泛化能力:尽管训练数据有限,但模型展现出强大的泛化能力,能适应新物体、材质和场景,甚至掌握简单物理规则,如相同力下,轻物移动距离比重物远。
- 生成效果更优:在用户测试中,“力提示”技术在运动匹配度和真实感上优于纯文本或运动路径控制的基准模型,甚至超越依赖真实物理模拟的PhysDreamer(仅在图像质量上稍逊)。
未来展望
DeepMind首席执行官Demis Hassabis表示,新一代AI视频模型(如Veo 3)正逐步理解物理规则,不再局限于文本或图像处理,而是开始表征世界的物理结构。他认为这是通向更通用AI的关键一步,未来AI可能不再仅仅依赖数据,而是能在模拟环境中通过经验学习。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。