首页 > 快讯 > 上海交通大学推出新数据集，促进3D人脸生成AI质量评价技术的进步

上海交通大学推出新数据集，促进3D人脸生成AI质量评价技术的进步

发布时间：2025-08-15 11:35:41 | 责任编辑：吴昊 | 浏览量：8 次

近日，上海交通大学的研究团队推出了一个名为 Gen3DHF 的新数据集，专注于评估 AI 生成的3D 人脸质量。随着生成式人工智能的快速发展，3D 人脸的生成成为可能，尤其在虚拟现实等领域具有广泛应用。然而，评估这些生成3D 人脸的质量和真实感依然是一个巨大的挑战，因为人类对面部特征的感知往往具有主观性和敏感性。
Gen3DHF 数据集是一个大规模的基准数据集，包含2000个 AI 生成的3D 人脸视频，以及从质量和真实感两个维度收集的4000个平均意见得分（MOS）、2000个失真感知显著图和失真描述。这一数据集为研究人员提供了一个宝贵的工具，以客观评估 AI 生成内容的质量。
在此基础上，研究团队还提出了 LMME3DHF，这是一个基于大型多模态模型的3D 人脸评估指标，能够有效预测质量和真实感得分，并进行失真感知视觉问答（VQA）和显著性预测。实验结果表明，LMME3DHF 在准确性方面达到了最先进的性能，不仅超越了现有方法，还与人类感知判断高度一致。
团队指出，尽管 AI 生成的3D 人脸在生成能力上取得了显著提升，但仍然存在感知失真和非真实感伪影等问题，未能满足人类的质量期望。人类评估虽然提供了重要见解，但其成本高且效率低，因此开发一种客观的质量度量标准变得至关重要。
Gen3DHF 数据集的推出，弥补了现有方法在评估 AI 生成3D 人脸方面的不足，特别是针对面部失真的独特性。通过对多样化3D 人脸视频样本的评估，研究团队在质量和真实感两个方面取得了显著进展。这不仅有助于提升生成技术的可信度，还将推动虚拟现实和相关领域的发展。
论文:https://arxiv.org/pdf/2504.20466
划重点:
🌟 Gen3DHF 数据集包含2000个 AI 生成的3D 人脸视频，为质量评估提供了基础。
🤖 LMME3DHF 评估指标在失真感知和真实感预测方面表现优异，超越现有方法。
🔍 研究旨在填补现有 AI 生成3D 人脸评估中的空白，提升技术的可靠性。

上海交通大学发布 Gen3DHF 数据集，推动 AI 生成 3D 人脸质量评估技术

2025 年 8 月 15 日，上海交通大学研究团队发布了名为 Gen3DHF 的大规模基准数据集，旨在解决 AI 生成 3D 人脸质量评估难题。

研究背景与挑战

随着生成式人工智能的快速发展，AI 生成 3D 人脸技术已在虚拟现实、数字人等领域广泛应用。然而，由于人类对面部特征的主观感知和敏感性，评估这些 3D 人脸的质量和真实感一直面临重大挑战。传统评估方法（如 IS、FID、BRISQUE 等）主要针对通用图像或视频设计，难以准确评估 AI 生成 3D 人脸的独特失真模式。

Gen3DHF 数据集

研究团队构建了 Gen3DHF 数据集，包含：

2000 个 AI 生成的 3D 人脸视频，由五种不同模型生成，确保样本多样性。
4000 个 平均意见得分（MOS），从质量和真实感两个维度收集，反映人类主观评价。
2000 个 失真感知显著图和对应的失真描述，用于定位和分析失真区域。

LMME3DHF 评估指标

基于 Gen3DHF，团队提出 LMME3DHF，这是一个基于大型多模态模型（LMM）的 3D 人脸评估指标，具有以下功能：

质量与真实感得分预测：准确预测 3D 人脸的质量和真实感评分。
失真感知视觉问答（VQA）：识别并分类失真类型，提供详细的诊断反馈。
失真感知显著性预测：定位并描述显著失真区域，提升评估的可解释性。

实验结果表明，LMME3DHF 在多项评估任务上显著优于现有方法，并与人类感知判断保持高度一致。

研究意义与未来展望

该研究填补了 AI 生成 3D 人脸质量评估领域的空白，为提升生成技术的可信度和推动虚拟现实等相关领域的发展提供了重要工具。研究团队希望 Gen3DHF 和 LMME3DHF 能成为推动 AI 生成 3D 人脸生成与评估研究的有价值资源。

©️版权声明：
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。