音跃ACE-Step音乐大模型由阶跃星辰开源发布
发布时间：2025-05-07 16:10:21 | 责任编辑：张毅 | 浏览量：19 次
阶跃星辰与ACE Studio联合发布了开源音乐大模型ACE-Step（中文名:音跃），标志着音乐创作与生成技术的又一重要突破。ACE-Step是继语音、视频、图片、视觉推理等多模态大模型之后的又一成果，展现了音乐创作与生成的最新进展。
ACE Studio是一家以生成式AI技术为核心的科技公司，其产品ACE Studio是一款Gen-AI为核心的音乐创作工作站产品，用户遍布全球，包括格莱美获奖者和世界顶级的工作室。ACE-Step大模型参数量为3.5B，具备快速高质量生成、强可控性和易于拓展等特点，支持多种语言的歌曲生成，涵盖中、英、日、韩、西班牙、俄语等19种语言。
ACE-Step的创新架构与训练策略提升了旋律的流畅性和歌词的契合度，使生成的音乐在旋律、结构上更完整、更具情感表达力。作为通用性强的音乐基础模型，ACE-Step支持包括LoRA和ControlNet在内的多种微调方式，可灵活适配音频编辑、人声合成、伴奏生成、声线克隆、风格迁移等多种下游任务，极大降低了音乐AI应用的开发门槛。
ACE-Step具备高效多元创作能力、强可控性和易于拓展的三大核心特色。它支持多种主流音乐风格的创作，能够生成丰富多样且兼具表现力的演唱和器乐编排，确保音乐的连贯性与和谐，并展现出风格的多样性。此外，ACE-Step还支持高质量的纯音乐生成。
ACE-Step提供两种生成模式:快速和慢速模式，最快15秒即可生成一整首歌，慢速模式也仅需32秒。它支持19种语言的歌曲生成，满足跨文化创作的需求。创作者可以在不改变旋律的情况下，精确修改已生成歌曲的歌词内容、语气或情感表达，确保每行歌词与整体音乐风格完美契合。
ACE-Step还具备高度的可拓展性，支持LoRA、ControlNet等主流微调方式，轻松适配多种音乐创作场景，满足个性化定制需求。它采用一阶段DiT架构，并结合REPA技术，通过语义约束提升生成的音频质量。同时，ACE-Step引入DCAE（深度压缩自编码器）技术和线性Transformer架构，显著提升了生成速度与效率。
ACE-Step的开源发布为全球创作者提供了更高效和灵活的创作工具。它展现了以下优势:全曲生成、精准时长控制、灵活输入格式以及多语言与多风格生成。未来，阶跃星辰与ACE Studio将进一步推动音乐模型技术演进，并探索在综合泛文娱产业的落地实践，为全球用户提供专业的音乐技术服务。
开源链接与体验地址:
- Github:（https://github.com/ace-step/ACE-Step）
2025年5月7日，阶跃星辰与ACE Studio联合发布了开源音乐大模型——ACE-Step（中文名：音跃）。以下是关于该模型的详细介绍：
模型特点
-
高效生成：ACE-Step能够在短时间内生成高质量的音乐作品。例如，在NVIDIA A100 GPU上，仅需20秒即可生成长达4分钟的音乐，比传统基于LLM的模型快15倍。
-
多语言支持：支持包括中文、英语、日语、韩语、西班牙语、俄语在内的19种语言的歌曲生成。
-
多样化风格：涵盖多种主流音乐风格，如流行、摇滚、电子、爵士等，能够生成丰富多样且兼具表现力的演唱和器乐编排。
-
可控性强：支持多种微调方式，如LoRA和ControlNet，可灵活适配音频编辑、人声合成、伴奏生成、声线克隆、风格迁移等多种下游任务。此外，还支持对生成的音乐进行局部歌词修改，同时保持旋律和伴奏不变。
技术架构
-
扩散模型：基于逐步去除噪声生成数据，解决了传统扩散模型在长结构连贯性上的不足。
-
深度压缩自编码器（DCAE）：用于高效的数据压缩和解压缩，保留音乐的细粒度音频细节，减少计算资源的消耗。
-
轻量级线性变换器：确保生成的音乐在旋律、和声和节奏上具有连贯性。
-
语义对齐技术：通过MERT（Music Embedding Representation）和m-hubert技术，在训练过程中对齐语义表示（REPA），实现快速收敛和高质量的生成效果。
开源信息
ACE-Step的开源链接和体验地址如下：
-
GitHub仓库：https://github.com/ace-step/ACE-Step
-
HuggingFace模型库：https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
应用场景
ACE-Step适用于多种音乐创作和制作场景，包括但不限于：
-
音乐创作：快速生成旋律、歌词，提供创作灵感。
-
人声生成：从歌词直接生成人声音频，适合制作人声演示。
-
音乐制作：生成乐器循环和音效，提供创作素材。
-
音乐教育：作为教学工具，帮助学习音乐创作。
未来展望
阶跃星辰与ACE Studio表示，未来将进一步推动音乐模型技术的演进，并探索其在综合泛文娱产业的落地实践，为全球用户提供专业的音乐技术服务。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
