腾讯发布超长距世界模型HunyuanWorld-Voyager,支持原生3D重建功能
发布时间:2025-09-02 15:39:52 | 责任编辑:吴昊 | 浏览量:27 次
近日,腾讯正式发布了HunyuanWorld-Voyager,这是一种创新的视频扩散框架,旨在通过单张输入图像生成具备世界一致性的3D 点云,支持用户按自定义的相机路径进行沉浸式探索。
官方表示,这全球首个具备原生3D 重建功能的超远距离世界模型,重新定义 AI 驱动的 VR、游戏和仿真空间智能。此模型不仅能够生成精确对齐的深度信息和 RGB 视频,还能够在不进行后处理的情况下,直接用于高质量的三维重建。
直接3D 输出:无需 COLMAP 等工具即可将点云视频导出为3D 格式,实现即时3D 应用。
创新的3D 内存:引入可扩展的世界缓存机制,确保任何摄像机轨迹的几何一致性。
顶级性能:在斯坦福 WorldScore 测试中排名第一,在视频生成和3D 重建基准测试中表现出色
HunyuanWorld-Voyager的架构包含两个关键组件。首先是 “世界一致的视频扩散”,该组件提出了一种统一的架构,可以基于已有的世界观测,同时生成准确对齐的 RGB 视频和深度视频序列,从而确保全局场景的一致性。其次是 “长距离世界探索”,它采用了一种高效的世界缓存机制,结合点云剔除和自回归推理能力,支持迭代场景扩展,并通过上下文感知的一致性技术实现平滑的视频采样。
为了训练 HunyuanWorld-Voyager 模型,研究团队构建了一套可扩展的数据构建引擎。这一自动化视频重建流水线能够对任意输入视频自动估计相机位姿和度量深度,因此无需依赖人工标注,从而实现大规模、多样化训练数据的构建。基于此流水线,HunyuanWorld-Voyager 整合了真实世界采集和虚幻引擎渲染的视频资源,构建了一个包含超过10万个视频片段的大规模数据集。
在实验评估中,HunyuanWorld-Voyager 在视频生成质量方面表现出色。与四种开源的相机可控视频生成方法进行了对比,结果显示该模型在 PSNR、SSIM 和 LPIPS 等指标上均优于其他模型,证明了其卓越的视频生成质量。同时,在场景重建方面,HunyuanWorld-Voyager 的生成视频在几何一致性上也显现出更好的效果。
此外,HunyuanWorld-Voyager 在 WorldScore 静态基准测试中获得了最高分,证明了其在相机运动控制和空间一致性方面的优越性。这一成果不仅展示了混元世界模型的潜力,还为未来的3D 场景生成技术开辟了新路径。
划重点:
🌍 HunyuanWorld-Voyager 能够基于单张输入图像生成具有世界一致性的3D 点云,支持用户沉浸式探索。
🎥 该模型同时生成精确对齐的深度信息和 RGB 视频,适用于高质量三维重建。
🏆 在多个测试中,HunyuanWorld-Voyager 在视频生成质量和场景重建效果上均优于其他模型。
。
🌏 核心功能与创新点
-
单图生成3D世界:只需一张输入图像,即可生成具有世界一致性的3D点云,用户可以自定义相机路径进行沉浸式探索
。
-
原生3D重建:无需传统工具(如COLMAP)进行后处理,直接生成精确对齐的深度信息和RGB视频,直接用于高质量的三维重建
。
-
长距离世界探索:采用高效的世界缓存机制,结合点云剔除和自回归推理能力,支持迭代场景扩展,确保长距离探索时的几何一致性
。
-
顶级性能:在斯坦福WorldScore测试中排名第一,视频生成和3D重建基准测试中表现优异
。
🛠️ 技术架构
:
-
世界一致的视频扩散:提出统一架构,基于已有世界观测,同时生成准确对齐的RGB视频和深度视频序列,确保全局场景一致性。
-
长距离世界探索:采用可扩展的世界缓存机制,通过上下文感知的一致性技术实现平滑的视频采样,支持任意相机轨迹的几何一致性。
📊 数据与训练
-
研究团队构建了可扩展的数据构建引擎,自动化视频重建流水线能够自动估计相机位姿和度量深度,无需人工标注,实现大规模、多样化训练数据的构建
。
-
整合了真实世界采集和虚幻引擎渲染的视频资源,构建了包含超过10万个视频片段的大规模数据集
。
🏆 实验评估
-
与四种开源的相机可控视频生成方法对比,HunyuanWorld-Voyager在PSNR、SSIM和LPIPS等指标上均优于其他模型,证明了其卓越的视频生成质量
。
-
在场景重建方面,生成视频在几何一致性上显现出更好的效果
。
🌟 应用场景
-
VR/AR应用:为虚拟现实和增强现实应用提供了即时、高质量的3D场景生成能力。
-
游戏开发:游戏开发者可以快速生成3D场景,极大缩短开发周期。
-
仿真与建模:适用于机器人仿真、自动驾驶仿真等需要精确3D环境的领域。
📥 开源信息
-
腾讯已正式开源HunyuanWorld-Voyager,开发者可自由使用并进行二次开发
。
。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。