南洋理工大学与北京大学联手开发开源长记忆世界模型WORLDMEM，增强虚拟环境的一致性
发布时间：2025-07-22 15:20:18 | 责任编辑：吴昊 | 浏览量：8 次
近日，南洋理工大学、北京大学王选计算机技术研究所与上海人工智能实验室的研究人员联合开源了名为 “WORLDMEM” 的长记忆世界模型。这一新模型旨在解决当前虚拟环境中长期一致性的问题，尤其是在视角变化或时间推移的情况下，仍能维持3D 空间的连贯性，从而显著提升用户体验。
WORLDMEM 的核心在于其创新的记忆机制。该机制构建了一个包含多个记忆单元的存储库，每个单元储存了与特定时间相关的场景信息和状态数据。通过这一机制，模型能够有效地从之前观察到的场景中提取信息，并在视角或时间变化时重新构建出精确的场景。这种方式突破了传统方法对短时间上下文窗口的限制，使得长期保留环境细节成为可能。
在生成新场景时，WORLDMEM 的记忆机制能够从庞大的记忆库中快速检索与当前场景最相关的信息。该过程涉及复杂的推理和匹配，以确保所提取的信息与当前的时间、视角和场景状态相契合。比如，当虚拟角色在环境中移动后返回原位置时，模型会迅速找到先前的记忆帧，确保场景的连贯性和一致性。
此外，WORLDMEM 具备动态更新的能力，随着虚拟世界的发展，新的场景和信息会不断被添加到记忆库中。这一特性保证了模型对最新环境状态的准确记录，从而提升了场景生成的质量。该模型采用了基于条件扩散变换器的架构，能够整合外部动作信号，实现虚拟世界的第一人称视角生成，使得角色可以灵活地在虚拟环境中移动和互动。
WORLDMEM 还使用了扩散强迫技术进行训练，使得模型能够在时间维度上进行长期模拟。这一训练方式确保了场景生成的连贯性，并使模型能够有效应对不同的动作指令和场景变化。通过将动作信号投影到嵌入空间，并结合去噪时间步嵌入，模型提升了对动作信号的响应能力。
WORLDMEM 的发布标志着虚拟环境模拟技术的一次重要进步，为未来的虚拟现实应用提供了强大的支持。
开源地址:https://github.com/xizaoqu/WorldMem
划重点:
🌍 WORLDMEM 是一个开源的长记忆世界模型，旨在提升虚拟环境中的一致性和连贯性。
🔍 模型的核心记忆机制能够有效存储和提取场景信息，突破了传统方法的限制。
🔄 WORLDMEM 具备动态更新能力，随着环境的变化持续优化场景生成质量。
南洋理工大学（S-Lab 实验室）、北京大学王选计算机技术研究所和上海人工智能实验室的研究团队联合推出了名为 WORLDMEM 的开源长记忆世界模型，旨在解决虚拟环境中长期一致性问题（如视角变化或时间推移时的 3D 空间连贯性），从而显著提升用户体验。
WORLDMEM 的核心创新 在于其记忆机制，通过构建包含特定时间相关场景信息和状态数据的存储库（记忆银行），模型能够在视角或时间变化时精确重建场景，突破传统方法对上下文窗口的限制。此外，模型支持动态更新，可不断将新场景和信息添加到记忆库中，确保最新环境状态的准确记录。
实验结果 显示，WORLDMEM 在 Minecraft 数据集及真实场景（如 RealEstate10K 数据集）中均表现出色，能维持长期一致性，即使测试序列超出训练时的上下文窗口，其 PSNR、LPIPS 等指标也明显优于传统方法。例如，在 RealEstate10K 数据集的 360 度旋转测试中，WORLDMEM 在 PSNR、LPIPS 和重建 FID 等指标上均显著优于最先进的方法（如 DFoT）。
WORLDMEM 的应用潜力 包括虚拟现实、游戏开发、机器人导航等场景，其开源代码和项目主页（https://xizaoqu.github.io/worldmem，GitHub 地址：https://github.com/xizaoqu/WorldMem）已可供全球开发者使用。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
