谷歌提出VLOGGER，生成逼真的会说话和会移动的人类口播视频

发布时间:2024-03-15 09:31:17 · 责任编辑:字母汇 · 浏览量:25 次

VLOGGER 通过音频或文本输入，结合单个图像，生成包含面部和身体动作的逼真人类视频，采用随机扩散模型和三维人体姿态表示；引入新的大规模多样化数据集MENTOR，提供三维姿势和表情注释，支持VLOGGER训练，使其在身份和时长方面成为最大的数据集；VLOGGER在多个公共基准测试上超越最先进方法，展现出在图像质量、身份保留和时间一致性上的优势，同时验证了其在不同多样性维度上的稳健性。（AI妙妙房）