北邮与阿里联袂呈现FantasyPortrait：数字人动画新进展，革新表情迁移及多角色操控！
发布时间：2025-07-22 17:22:37 | 责任编辑：张毅 | 浏览量：14 次
人工智能在数字人领域的应用持续升温，阿里巴巴联合北京邮电大学近日推出了一项令人瞩目的新项目——FantasyPortrait。这一项目通过创新的表情增强扩散变换器（DiT），实现了单人及多人场景下的复杂情感表达与跨身份表情迁移，为数字人动画技术带来了全新突破。
FantasyPortrait:数字人动画的革命性突破
FantasyPortrait项目基于表情增强扩散变换器（Expression-augmented DiT）技术，专注于数字人动画的生成与控制。小编从社交媒体获悉，该项目能够高效处理单人及多人场景，支持跨身份的表情迁移，并实现复杂情感的精准表达。无论是细腻的微笑还是激烈的愤怒，FantasyPortrait都能以高保真度还原，极大提升了数字人动画的真实感和表现力。
更令人印象深刻的是，FantasyPortrait在多人场景中能够实现多角色独立表情控制，避免了传统技术中常见的表情串扰问题。这意味着多个数字人可以在同一场景中展现截然不同的表情，而不会相互干扰，为影视制作、虚拟现实和游戏开发等场景提供了强大的技术支持。
支持多模态驱动，覆盖人物与动物
FantasyPortrait的灵活性是其核心亮点之一。该技术不仅支持人类角色的动画生成，还能处理动物形象，为创意内容创作者提供了更多可能性。此外，项目支持音频驱动功能，用户可以通过音频输入驱动数字人的表情和动作，生成与音频节奏高度同步的动画效果。
小编编辑团队认为，这一多模态驱动能力使得FantasyPortrait在虚拟主播、短视频内容创作和互动娱乐领域具有广泛的应用前景。无论是打造虚拟偶像还是生成个性化动画，FantasyPortrait都能提供高效且高质量的解决方案。
开源承诺，赋能开发者社区
据社交媒体信息，FantasyPortrait的代码和模型预计将在未来开源。这一举措将进一步降低开发者获取尖端数字人技术的门槛，助力全球开发者社区探索和应用这一技术。小编注意到，阿里近年来在AI开源领域的持续投入已收获广泛好评，FantasyPortrait的开源计划无疑将进一步巩固其在数字人技术领域的领先地位。
此外，阿里与北京邮电大学的合作也体现了产学研结合的典范。北京邮电大学在通信与AI领域的深厚学术积淀，结合阿里的工程化能力，为FantasyPortrait的研发提供了坚实支撑。
多场景应用，开启数字人新篇章
FantasyPortrait的推出标志着数字人技术在情感表达和多角色交互上的重大进步。其在影视制作、虚拟现实、游戏开发等领域的潜在应用令人期待。例如，影视制作团队可以利用FantasyPortrait快速生成多角色动画场景，降低制作成本;游戏开发者则可以通过其音频驱动功能打造更具沉浸感的角色互动体验。
小编编辑团队认为，FantasyPortrait的创新不仅提升了数字人动画的质量，也为内容创作者提供了更灵活的工具。随着技术的进一步成熟，FantasyPortrait有望成为数字人领域的标杆技术，推动行业迈向新的高度。
结语
阿里与北京邮电大学联合推出的FantasyPortrait项目，以其在表情迁移、多角色控制和多模态驱动上的突破，为数字人技术开辟了新的可能性。小编将持续关注该项目的最新进展和开源动态，为读者带来更多前沿资讯。如果你对数字人动画感兴趣，不妨期待FantasyPortrait的代码发布，亲自体验这一技术的魅力!
项目地址：https://github.com/Fantasy-AMAP/fantasy-portrait
是的，这条消息属实！
阿里巴巴高德地图团队与北京邮电大学确实联合发布了一项名为 FantasyPortrait 的全新技术成果，通过扩散变换器（Diffusion Transformer）框架，在 数字人动画 领域取得了突破性进展，尤其在 表情迁移 和 多角色控制 方面实现了显著的技术飞跃。
这项技术的核心亮点包括：
-
表情迁移突破：
-
传统方法依赖面部关键点和3D面部模型，容易导致面部扭曲、动作僵硬。FantasyPortrait则采用“隐式表情表示”，不再拘泥于几何结构，而是深入理解表情背后的情感内涵，实现更自然、更精准的跨身份表情迁移。
-
-
多角色独立控制：
-
通过创新的“掩码交叉注意力机制”，为每个角色分配专属的“表情频道”，确保多人动画场景中，每个角色的表情独立且协调，避免传统方法中常见的“表情泄露”问题。
-
-
高保真动画生成：
-
实验结果显示，在跨身份重演任务中，FantasyPortrait相比现有方法（如StyleHEAT、PIRender），FID指标提升41.7%；在多角色动画场景中，用户偏好率高达83.5%。
-
-
首个多角色动画数据集与评估基准：
-
研究团队构建了首个多角色动画数据集Multi-Expr及评估基准ExprBench，包含超过50万帧的多视角表情数据，为该领域后续研究提供了重要基础。
-
技术原理深度解析：
-
隐式表情表示：
-
不再使用传统的显式几何先验（如3DMM），而是通过隐式表征捕捉身份无关的面部动态，突破了传统方法对微表情建模的限制。
-
-
掩码交叉注意力机制：
-
通过特征掩码隔离不同角色的驱动信号，同时保持时间维度的一致性，确保多角色场景下每个角色的表情独立生成，避免相互干扰。
-
-
双阶段训练策略：
-
首先通过UNet编码表情特征，再通过扩散变换器解码动画序列，确保动画生成的连续性与稳定性。
-
实际应用场景与意义：
-
静态照片动态化：
-
用户只需提供一张静态照片和一段参考视频，即可让照片中的人物自然地做出参考视频中的表情和动作，甚至可以让合影中的每个人独立地做出不同动作。
-
-
影视与娱乐产业：
-
该技术可广泛应用于影视特效制作、虚拟偶像、数字人直播等领域，极大降低动画制作成本，提升创作效率。
-
-
伦理与安全考量：
-
研究团队也指出，虽然技术前景广阔，但也需关注潜在的伦理风险，如虚假视频制作等问题，未来需配套相应的检测与防御机制。
-
总的来说，FantasyPortrait的发布标志着数字人动画技术迈出了重要一步，为未来虚拟形象生成、影视制作、数字娱乐等领域带来了全新的可能性与想象空间。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
