每个人都能成为音乐创作者！腾讯 AI Lab 发布开源音乐创作大模型 SongGeneration

腾讯 AI Lab 于 2025 年 6 月 16 日推出了开源音乐生成大模型 SongGeneration。以下是关于该模型的详细介绍：

模型简介

SongGeneration 是一款专注于解决音乐 AIGC 中音质、音乐性与生成速度三大共性难题的开源音乐生成大模型。它基于 LLM-DiT 的融合架构，在保持生成速度的同时，显著提升了音质表现，生成歌曲的准确度在某些方面甚至优于部分商业闭源模型。

功能特点

• 文本控制：用户输入关键词文本（如“开心 流行”“激烈 摇滚”）即可实现风格与情绪控制，生成高质量完整音乐作品。

• 风格跟随：用户上传 10 秒以上参考音频，模型可生成风格一致的全长新曲，涵盖多种流派。

• 多轨生成：可自动生成分离的人声与伴奏轨道，保证旋律、结构、节奏与配器高度匹配。

• 音色跟随：基于参考音频生成具备“音色克隆”级别人声表现的歌曲，听感自然且情感表现力卓越。

技术架构

SongGeneration 的训练架构包含数据管线和生成模型两部分。数据管线包含音伴分离、结构分析、歌词识别等模块，可从原始音频中提取准确的歌词数据及结构、曲风、音质等标签数据。生成模型总参数量约 3B，由 codec、LM、FM、VAE 等部分组成，每个模块单独训练。其中，Music Codec 参数约 1B，用于音乐编解码，可将 48kHz 的双通道音乐压缩成 25Hz 的离散表征并高保真还原；Music LM 参数约 2B，用于根据用户指令生成完整歌曲。

技术创新

• 低比特率音乐编解码：通过优化编解码器设计，在保证音乐信息高质量重建的前提下，降低码率和比特率，减轻语言模型预测难度，提升音乐还原质量。

• 多维度人类偏好对齐：采用半自动数据构建方法，生成大规模偏好数据对，对齐音乐性偏好、歌词对齐偏好和提示一致性偏好，提升模型的音乐性和指令遵循能力。

应用场景

SongGeneration 广泛应用于短视频配乐、游戏音效、虚拟人演出、商业广告以及个人音乐创作等场景。它既满足 C 端创作者的可玩性，又兼具 B 端的稳定性与拓展性。

开源信息

SongGeneration 模型已登陆 Hugging Face，全部模型权重与代码全面开源。用户可以访问以下链接体验和使用该模型：

• Hugging Face：https://huggingface.co/tencent/SongGeneration

• 代码地址：https://github.com/tencent-ailab/SongGeneration

• 论文地址：https://arxiv.org/abs/2506.07520

• 模型体验地址：https://huggingface.co/spaces/tencent/SongGeneration