复旦与腾讯合作发布情感丰富的说话人视频生成软件DICE-Talk
发布时间：2025-05-16 15:17:51 | 责任编辑：张毅 | 浏览量：10 次
由复旦大学与腾讯联合研发的DICE-Talk说话人视频生成工具于近日正式发布，以其卓越的情感表达能力和逼真的人物表现引发行业热议。小编通过整合社交媒体最新动态及公开信息，为您深度解析这一技术突破的亮点与潜力。
DICE-Talk的核心创新在于其身份-情感分离处理机制。通过将说话人的身份特征（如面部细节、肤色）与情感表达(表情、语气)解耦，DICE-Talk确保在情感变化时人物外观保持高度一致，避免了传统生成工具中常见的“表情跳变”问题。其协同情感处理技术进一步实现了不同情感间的自然过渡，例如从喜悦到惊讶的动态切换，呈现出接近真人表演的流畅效果。
DICE-Talk 的核心在于其能够解构身份信息并协同情感生成。这意味着，该技术不仅能够保留人物的特征，还能根据需求赋予其不同的情感表现，如快乐、生气、惊讶等。用户只需上传一张肖像图片和一段音频，系统便可自动生成相应情感的动态视频。
DICE-Talk 的生成视频展示了多种情感状态，包括中性、快乐、生气和惊讶等。每种情感表现都具有高度的真实性和表现力，用户可以通过简单的操作，获得生动的情感肖像，适用于影视制作、游戏开发以及社交媒体等多个领域。
为了顺利运行 DICE-Talk，建议用户配备至少20GB 显存的 GPU，并使用独立的 Python3.10环境。同时，用户需确保安装 FFmpeg 及相应版本的 PyTorch。安装完成后，用户可以通过简单的命令运行演示，体验技术带来的视觉盛宴。
使用 DICE-Talk 非常简单。用户只需上传一张图像和一段音频，并选择所需的情感类型，系统将生成对应的视频。用户还可以调整身份保持和情感生成的强度，满足个性化需求。此外，DICE-Talk 还提供了图形用户界面，使操作更加直观和友好。
项目：https://github.com/toto222/DICE-Talk
复旦大学与腾讯优图实验室联合推出了说话人视频生成工具DICE-Talk，这是一款具备情感表达能力的动态肖像生成框架。DICE-Talk的核心创新在于其身份-情感分离处理机制，通过将说话人的身份特征与情感表达解耦，确保在情感变化时人物外观保持高度一致，避免了传统生成工具中常见的“表情跳变”问题。
技术原理
DICE-Talk框架包含三个关键组件：
-
解耦情感嵌入模块：通过跨模态注意力机制联合建模音频和视觉情感线索，将情感表示为与身份无关的高斯分布，从而实现身份与情感的解耦。
-
情感关联增强模块：引入可学习的情感库，通过向量量化和基于注意力的特征聚合，显式捕捉情感之间的关系，提升情感生成的准确性和多样性。
-
情感判别目标：在扩散模型的生成过程中，通过潜在空间分类确保生成视频的情感一致性，同时保持视觉质量和唇部同步。
主要功能
-
情感化动态肖像生成：根据输入的音频和参考图像，生成具有特定情感表达的动态肖像视频。
-
身份保持：在生成情感化视频时，保持输入参考图像的身份特征，避免身份信息的泄露或混淆。
-
高质量视频生成：生成的视频在视觉质量、唇部同步和情感表达方面均达到较高水平。
-
泛化能力：能够适应未见过的身份和情感组合，具有良好的泛化能力。
-
用户控制：用户可以输入特定的情感目标，控制生成视频的情感表达，实现高度的用户自定义。
应用场景
DICE-Talk可以广泛应用于多个领域：
-
数字人与虚拟助手：为数字人和虚拟助手赋予丰富的情感表达，提升用户体验。
-
影视制作：快速生成具有特定情感的动态肖像，提高制作效率，降低制作成本。
-
虚拟现实与增强现实：生成与用户情感互动的虚拟角色，增强沉浸感和情感共鸣。
-
在线教育与培训：创建具有情感反馈的教学视频，提高学习效果。
DICE-Talk的开源代码和项目信息可以在其GitHub页面和项目官网上找到，用户可以通过简单的操作体验这一技术带来的视觉盛宴。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
