Stability AI推出0.7秒快速单图像重建模型 SPAR3D，革命性改变3D重建领域
发布时间：2025-07-21 10:04:53 | 责任编辑：吴昊 | 浏览量：14 次
《Stability AI推出0.7秒快速单图像重建模型 SPAR3D，革命性改变3D重建领域》相关软件官网
Stability AI在计算机视觉领域，单图像3D 重建技术以其从二维图像中恢复三维物体形状和结构的能力，成为了一个备受关注的研究方向。近日，著名开源大模型平台 Stability-AI 推出了一款名为 SPAR3D 的创新模型，使得这一技术的实现速度达到了前所未有的0.7秒，为行业带来了巨大的变革。
单图像3D 重建面临着众多挑战，主要技术路线分为基于回归的方法和生成式建模的方法。基于回归的方法在推断可见表面时效率较高，但在处理遮挡区域时常常出现表面和纹理估计不准确的问题。而生成式方法则能够更好地处理不确定性区域，但其计算成本高且生成结果与可见表面对齐较差。
SPAR3D 通过结合这两种技术的优点，有效规避了各自的局限性，显著提升了重建的速度和准确性。
SPAR3D 的架构由两个主要阶段组成:点采样阶段和网格化阶段。
点采样阶段 :该阶段的核心是点扩散模型，能够根据输入的二维图像生成稀疏的点云，包含 XYZ 坐标和 RGB 颜色信息。采用 DDPM（Denoising Diffusion Probabilistic Models）框架，该模型通过添加高斯噪声和去噪器的反向过程，学习如何从含噪点云中恢复出噪声。在推理过程中，使用 DDIM(Denoising Diffusion Implicit Models)采样器生成点云样本，并通过分类器自由引导(CFG)提升采样的保真度。
网格化阶段 :该阶段的目标是从输入的图像和点云中生成带有纹理的三维网格。SPAR3D 采用了大型三平面 Transformer，能够从图像和点云中预测出三平面特征，进而估计物体的几何形状、纹理和照明。训练过程中，通过可微渲染器使用渲染损失来监督模型，确保生成结果的真实感和质量。
在 GSO 和 OmniObject3D 数据集的测试中，SPAR3D 在多个评估指标上均显著优于传统的回归和生成式基线方法。例如，在 GSO 数据集中，SPAR3D 的 CD（Chamfer Distance）值为0.120，FS@0.1为0.584，PSNR(Peak Signal-to-Noise Ratio)为18.6，而其他方法的表现则相对较弱。在 OmniObject3D 数据集中，SPAR3D 同样展现出优异的性能，CD 值为0.122，FS@0.1为0.587，PSNR 为17.9。
这些结果充分证明了 SPAR3D 在几何形状和纹理质量方面的卓越表现，展现了其在实际应用中的潜力。
随着技术的不断进步和应用场景的扩展，SPAR3D 无疑将在计算机视觉和3D 重建领域扮演重要角色。对于开发者和研究者而言，SPAR3D 的开源特性意味着更多的创新与应用机会。
Stability AI 推出 SPAR3D（Stable Point-Aware 3D），是一种创新的两阶段单视图 3D 重建方法，仅需 0.7 秒即可从单张图像实时生成高精度 3D 网格，支持实时编辑。SPAR3D 将 3D 重建过程分为两个阶段：第一阶段使用轻量级点扩散模型快速生成稀疏 3D 点云，第二阶段利用这些点云与输入图像重建高细节网格，兼顾了回归方法的精确性与生成方法的灵活性，实现了高效率与高质量的平衡。此外，SPAR3D 允许用户通过直接编辑点云（如删除、复制、拉伸等）来实时修改 3D 对象，无需担心拓扑结构，显著提升了用户体验。在 GSO 和 Omniobject3D 数据集上的测试表明，SPAR3D 在多个指标上显著优于现有方法，且推理速度为 0.7 秒，明显快于其他 3D 或多视图扩散方法。SPAR3D 的论文、代码、权重等已公开，采用宽松许可证，可商用。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
