谷歌发布BlenderFusion：革新视觉编辑与3D合成的崭新架构

谷歌 DeepMind 团队 2025 年 6 月发布的 BlenderFusion（论文 arXiv:2506.17450）是一套“3D-锚定视觉编辑与生成合成”框架，能够在 2D 照片 → 可编辑 3D 场景 → 逼真的全新 2D 图片/视频 之间无缝切换，核心流程只有三步：

1. 分层（Layering）
   用 Segment Anything、DepthPro 等模型把输入图像里的物体、背景、相机参数全部分离，并转成带纹理的 3D 三角网格。

2. 编辑（Editing）
   这些 3D 实体被直接导入 Blender，用户可像在 3D 软件里一样 拖拽、旋转、缩放、替换物体，或改变材质、光照、相机路径；所有操作都基于真实 3D 几何，避免 2D 编辑常见的透视失真。

3. 生成式合成（Compositing）
   系统把“原始场景”和“编辑后的 Blender 渲染”同时送入一个 双流扩散模型（基于 Stable Diffusion 2.1 扩展），用
   • 源遮罩（Source Masking） 让背景/物体替换更灵活
   • 模拟物体抖动（Simulated Object Jittering） 训练模型把物体-相机运动彻底解耦，保证只改想改的部分
   
   最终输出高保真、光影一致的合成图像或视频帧。

为什么“颠覆”

• 精准 3D 控制：传统扩散模型靠文字提示，常出现几何错位；BlenderFusion 把几何操作交给 Blender，扩散模型只负责“润色”，实现了像素级 3D 控制。

• 完全解耦：移动物体不会牵动背景，旋转相机也不会扭曲物体，首次在复杂多物体场景中达到 93.75% 的人类偏好率。

• 零门槛 3D 创作：无需手工建模，从一张手机照片即可在几分钟内完成原本需要专业团队数天的视觉特效任务。

项目资源

论文 & 演示视频：https://blenderfusion.github.io

代码与权重：尚未完全开源，但论文已给出完整技术细节，社区已有非官方实现计划。

一句话总结：BlenderFusion 把“专业 3D 软件的可控性”与“生成式 AI 的想象力”合二为一，让普通用户也能“一键把照片变 3D，再一键生成任何想要的重构图”。