打造可掌控的交互世界，昆仑万维公开Matrix-Game图像驱动技术！

发布时间：2025-05-13 12:16:27 | 责任编辑：吴昊 | 浏览量：58 次

5月13日，昆仑万维集团宣布正式开源Matrix-Game大模型，这是一款专注于交互式世界生成的先进模型，标志着交互式世界生成技术的新突破。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，专为开放式环境中的高质量生成与精确控制而设计。这一开源举措不仅刷新了交互式世界生成的技术上限，也为构建通用虚拟世界基座树立了全新标杆。
Matrix-Game由三大核心部分构成:Matrix-Game-MC数据集、Matrix-Game主模型和GameWorld Score评测体系。Matrix-Game-MC数据集是一个自主构建的大规模交互世界数据集，包含大规模无标签的Minecraft游戏视频和带有键盘与鼠标控制信号的Minecraft与Unreal可控视频数据，具备精细的动作注释。这一数据集支持对复杂环境动态与交互模式的高效建模与学习。
Matrix-Game主模型基于先进扩散模型技术开发，能够根据用户输入生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。该模型通过两阶段训练策略（无标签数据预训练+标注数据可控训练），在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。Matrix-Game具备细粒度用户交互控制能力，支持前进、跳跃、攻击、视角移动等细节操作，操作体验准确自然。同时，生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。此外，Matrix-Game还具备多场景泛化能力，涵盖不同地形、天气和生物群系，并具备向非Minecraft游戏环境泛化的潜力。
为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了统一的GameWorld Score评测体系。该体系从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩，全面超越现有开源基线模型Oasis与MineWorld。在双盲人评实验中，用户更倾向于选择Matrix-Game生成的视频，显示出其在交互式世界生成领域的卓越性能。
项目主页:
https://matrix-game-homepage.github.io
技术报告:
https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf
GitHub开源地址:
https://github.com/SkyworkAI/Matrix-Game
HuggingFace开源地址:
https://huggingface.co/Skywork/Matrix-Game