首页 > 快讯 > 打造可掌控的交互世界,昆仑万维公开Matrix-Game图像驱动技术!

打造可掌控的交互世界,昆仑万维公开Matrix-Game图像驱动技术!

发布时间:2025-05-13 12:16:27 | 责任编辑:吴昊 | 浏览量:47 次

5月13日,昆仑万维集团宣布正式开源Matrix-Game大模型,这是一款专注于交互式世界生成的先进模型,标志着交互式世界生成技术的新突破。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地,也是工业界首个开源的10B+空间智能大模型,专为开放式环境中的高质量生成与精确控制而设计。这一开源举措不仅刷新了交互式世界生成的技术上限,也为构建通用虚拟世界基座树立了全新标杆。
Matrix-Game由三大核心部分构成:Matrix-Game-MC数据集、Matrix-Game主模型和GameWorld Score评测体系。Matrix-Game-MC数据集是一个自主构建的大规模交互世界数据集,包含大规模无标签的Minecraft游戏视频和带有键盘与鼠标控制信号的Minecraft与Unreal可控视频数据,具备精细的动作注释。这一数据集支持对复杂环境动态与交互模式的高效建模与学习。
Matrix-Game主模型基于先进扩散模型技术开发,能够根据用户输入生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。该模型通过两阶段训练策略(无标签数据预训练+标注数据可控训练),在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。Matrix-Game具备细粒度用户交互控制能力,支持前进、跳跃、攻击、视角移动等细节操作,操作体验准确自然。同时,生成结果在保持视觉连贯的同时,遵循自然物理规律,如重力、碰撞等,显著提升沉浸感。此外,Matrix-Game还具备多场景泛化能力,涵盖不同地形、天气和生物群系,并具备向非Minecraft游戏环境泛化的潜力。
为了系统性评估和比较交互式世界生成模型的性能,Matrix-Game提出了统一的GameWorld Score评测体系。该体系从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。在GameWorld Score评测系统中,Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩,全面超越现有开源基线模型Oasis与MineWorld。在双盲人评实验中,用户更倾向于选择Matrix-Game生成的视频,显示出其在交互式世界生成领域的卓越性能。
项目主页:
https://matrix-game-homepage.github.io
技术报告:
https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf
GitHub开源地址:
https://github.com/SkyworkAI/Matrix-Game
HuggingFace开源地址:
https://huggingface.co/Skywork/Matrix-Game

打造可掌控的交互世界,昆仑万维公开Matrix-Game图像驱动技术!

5月13日,昆仑万维正式开源(17B+)Matrix-Game大模型,即Matrix-Zero世界模型中的可交互视频生成大模型。这是工业界首个开源的10B+空间智能大模型,专为开放式环境中的高质量生成与精确控制而设计。

核心构成

  • Matrix-Game-MC数据集:包含大规模无标签的Minecraft游戏视频和带有键盘与鼠标控制信号的Minecraft与Unreal可控视频数据,支持复杂环境动态与交互模式的高效建模与学习。

  • Matrix-Game主模型:基于先进扩散模型技术开发,能根据用户输入生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。

  • GameWorld Score评测体系:从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。

优势

  • 细粒度用户交互控制:支持前进、跳跃、攻击、视角移动等细节操作,操作体验准确自然。

  • 高保真视觉与物理一致性:生成结果遵循自然物理规律,如重力、碰撞等,显著提升沉浸感。

  • 多场景泛化能力:涵盖不同地形、天气和生物群系,并具备向非Minecraft游戏环境泛化的潜力。

  • 系统化评估体系:为交互世界模型的客观评估与持续优化提供有力支撑。

应用前景

Matrix-Game将为多个领域带来革命性影响,包括虚拟游戏世界快速搭建、影视与元宇宙内容生产以及具身智能体训练与数据生成等。

©️版权声明:
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。

最新Ai信息

最新Ai工具

发表回复