过去在本地跑音频生成，最大的痛点要么是显存直接爆掉，要么是生成的曲子毫无段落结构，听起来像一锅乱炖。这个由 ACE Studio 和阶跃星辰（StepFun）联合开源的音乐基座模型，直接把商用级音乐生成的硬件门槛砸穿了——最低不到 4GB 显存就能在本地跑起来，在 RTX 3090 上生成一整首歌不到 10 秒，A100 上更是压到了 2 秒以内，实测综合音质表现直接卡在 Suno v4.5 到 v5 之间。
它最聪明的地方在于底层的混合架构设计。模型没有让扩散模型去硬猜简短的提示词，而是先用语言模型（LM）做全局规划器。你丢过去一句简单的描述，LM 会通过思维链（CoT）自动把曲风标签、歌词结构、配器细节和元数据扩写成一份完整的“歌曲蓝图”，再去引导底层的 Diffusion Transformer (DiT) 渲染音频。这也是为什么它不仅能做 10 秒的短 Loop，还能保持结构不崩、一路生成长达 10 分钟（600秒）的完整长曲，并且支持 50 多种语言的歌词控制和上千种乐器音色的细粒度描述。
比起单纯靠运气的“抽卡机”，它的控制力更像是一套塞进本地的 AI 编曲工作台：
多轨叠加与干声配乐：支持类似 Suno Studio 的多轨叠加（Add Layer），还能直接把人声干声喂给它自动生成伴奏（Vocal2BGM），或者把现有音频一键做分轨提取（Track Separation）。
局部重绘与翻唱：某一段旋律或歌词不满意，可以直接做局部重绘和编辑（Repaint & Edit），不用整首歌推倒重来；同时支持垫入参考音频引导风格，或者直接做 AI 翻唱（Cover Generation）。
音频理解与词轴对齐：支持精确控制时长、BPM、调式和拍号，也能反过来从现有音频里提取这些参数，生成完音乐后还能自动打好 LRC 歌词时间戳。
极低门槛的 LoRA 微调：想沉淀自己的专属曲风？Gradio 界面里内置了一键打标和训练流程。只需要喂给它 8 首歌，在一张 3090（仅需占用 12GB 显存）上跑 1 个小时，就能练出自己的风格 LoRA。
如果手头设备显存充裕（12GB 显存以上开启 Offload，推荐 20GB+），还可以直接跑新放出的 4B 参数 DiT 解码器 XL 系列（提供 xl-base、xl-sft、xl-turbo 三个版本），声音细节和饱满度还会再上一个台阶。项目原生兼容 CUDA、苹果 Apple Silicon (MPS)、ROCm、Intel XPU 甚至纯 CPU，喜欢在本地折腾音视频工作流的朋友可以直接拉代码试试了。
https://github.com/ace-step/ACE-Step-1.5