全新 AI 模型 DiffusionRenderer 由 NVIDIA 发布：将视频转换为可编辑的真实 3D 环境

NVIDIA 推出的 DiffusionRenderer 是一项开创性的 AI 神经渲染技术，能够将视频转换为可编辑的逼真 3D 场景。以下是关于这项技术的详细介绍：

技术原理

DiffusionRenderer 结合了神经逆渲染器和神经前向渲染器：

• 神经逆渲染器：分析输入的 2D 视频，提取场景的几何和材质属性，生成数据缓冲区。

• 神经前向渲染器：将这些数据与所需的光照结合，生成高质量的逼真视频。

此外，DiffusionRenderer 还利用 AI 估算单个 2D 视频的属性，如法线、金属度和粗糙度，从而生成新的阴影和反射、更改光源、编辑材质，并将新对象插入场景，同时保持逼真的照明条件。

技术优势

• 整合逆渲染和前向渲染：将两个传统上截然不同的过程整合到一个统一的神经渲染引擎中，性能优于现有方法。

• 高质量生成：在复杂场景中能够生成更逼真的光影效果，并在反向渲染时准确估计场景的材质属性。

• 强大的适应能力：通过构建包含 15 万个视频的合成数据集和 10,510 个真实世界视频的数据集，模型能够更好地适应真实视频的特性。

应用场景

• 创意行业：广告、电影和游戏开发领域的创作者可以使用 DiffusionRenderer 在现实世界或 AI 生成的视频中添加、删除并编辑光照。

• 智能汽车开发：智能汽车开发者可以利用该技术调整白天驾驶镜头的光照，生成阴天、雨天或夜晚场景的视频片段，以优化模型训练。

• 数字角色创作：创作者可以在采用昂贵的专用光照舞台系统之前，通过 DiffusionRenderer 探索和试验各种光照选项。

与 NVIDIA Cosmos 的结合

DiffusionRenderer 已与 NVIDIA Cosmos Predict-1 集成，借助更大的视频扩散模型，提高了去光照和重新打光的质量，实现了更清晰、更准确和时间上更一致的结果。

DiffusionRenderer 的推出标志着视频渲染和编辑领域的一次重要飞跃，为创作者和开发者提供了强大的工具，极大地解锁了 AI 驱动内容创作的潜力。