网站没有内容 备案能成功吗,网络规划设计师的成就,百度不收录你的网站产品,怎么自己制作网站免费本教程教你怎么使用工具训练数据集推理出你想要转换的声音音频#xff0c;并且教你处理剪辑伴奏和训练后的音频合并一起#xff0c;快来试试看把#xff01;
1.使用的工具
要想训练ai声音#xff0c;首先需要有各种工具#xff0c;还需要我们提供你需要训练的声音#…本教程教你怎么使用工具训练数据集推理出你想要转换的声音音频并且教你处理剪辑伴奏和训练后的音频合并一起快来试试看把
1.使用的工具
要想训练ai声音首先需要有各种工具还需要我们提供你需要训练的声音当然声音需要没有噪音存干声如果要是歌曲就需要分离歌曲的背景和声音然后将音频文件切分切分的目的是为了保证训练不卡否则音频文件太大所以你知道我们需要什么工具了把以下揭晓
Adobe Audition 我主要用这个提取mp4的音频文件后期可以用这个剪辑将伴奏和音频合起来
UVR5这个是专门背景与人生分离的软件一键安装就可以
Audio Slicer音频切分这个可以不用专门下软件自己操作了大神在webui里集成了按一下自动切分。
DDSP-SVC-3.0最重要的工具启动后是个webui界面然后呢我们需要在里边训练自己的声音转换声音等操作。
2.素材准备
2.1 AU提取音频
将mp4提取音频文件用AU操作操作如下
我是要把我在bilibili录制的视频下载下来的需要借助bilibili的一些工具才能下载下来视频我用的是这个在线解析bilibili视频的还是蛮方便的链接在这里。 哔哩哔哩(bilibili)视频解析下载 - 保存B站视频到手机、电脑 然后得到的视频可以拖到如下的位置 然后点击这个文件右键将音频提取到文件然后点击新出的音频文件再点击最上面的菜单文件保存或另存为然后就得到音频文件了。 2.2 UVR5提取干声
下面提取说明按需去取。
音频如果比较纯的声音无噪音则直接可以切分音频了如果不纯的化可以处理下打开url5
这个是处理伴奏和人声分离的。 伴奏人声分离以后可以去听听纯声发现其实会有一些和声和混响的我们要去去掉这个和声混响根据下面操作。 如果不是唱歌而是干声去噪也可以使用如下这种方式处理看看效果我是纯的背景有点噪音然后用了去和声混响处理的也是有点效果的。 3.启动DDSP-SVC
声音部分都处理完了就可以启动webui了进入DDSP-SVC-3.0目录双击启动启动WebUI然后弹出来一个cmd弹框 复制这个路径打开webui webui的界面是这样的
3.1 音频切分
这时就可以音频切分了按照下面的说明去处理。 切分后的文件。 找到切分后的输出目录然后全部将块音频全部复制到此目录下DDSP-SVC-3.0\data\train\audio
然后就需要到webui界面下这时需将DDSP-SVC-3.0\data\train里的音频以100:1的比例放入到此目录下DDSP-SVC-3.0\data\val\audio100:1就是100个文件里取一个这样的比例也可以不用你自己挑程序帮你挑完自己放入对应的校验集里也就是val目录下程序操作如下 3.2 数据预处理
数据预处理这里也很快按下面的说明进行填写填写哪些都有注释点击数据预处理就可以了。 3,3 训练前的参数设置
设置要训练的参数其实都默认就行但是配置低的要进行相应的更改否则训练过程中会失败。然后点击写入配置文件就可以了此时输出信息说写入配置完成就OK了。 3.4 开始训练
3.4.1 DDSP模型训练
然后就开始训练了 一般是先训DDSP这个是比较重要的第一次训练的化需要选择从头开始训练如果训练过程中取消了那么想要继续训练就选择继续上一次的训练进度然后取消模型训练时一定要按照这个倍数取消“每隔多少步(steps)验证并保存一次模型2000步”,否则可能没保存上 然后弹出cmd一直在迭代步数中代表训练中 观察loss值无明显趋势觉得不需要训练就可以按取消了,ctrlc就会取消训练 训练完了就可以训练扩散模型了报如下错需要修改fp16需要改成fp32了。 可以看训练趋势图启动Tensorboard按下面这个操作就可以了倒时会告诉你地址。 就会出现这样的界面 3.4.2 扩展模型训练
DDSP训练完毕我们开始训练扩散模型。如下方式这样就可以了cmd和上面的ddsp是一样的感觉差不多了就取消训练。都训练完毕了就到推理环节了。 训练好的模型在这里会出现此目录DDSP-SVC-3.0\exp
DDSP的在这个目录下可以看到模型训练的步数 扩散训练的在这个地方 4.模型推理
兄弟们最后一步了坚持住啊
推理就选择我们自己训练的模型选择音频按下面的图片的步骤走按顺序来就行。 4.1 音频转换
重点来了开始声音替换 我第一次处理时间巨长也看不到日志后来关掉重启重试关掉重启几次突然出现了日志以及处理过程然后很快就推理完成了听了下效果还行我的数据集还行40分钟差不多训练步数7500步也不多然后我的声音全部是说话没有唱歌声音最后出现的这个效果还行有一点点感觉到ai的感觉不知道是不是这个哥以及歌手唱腔的原因。
推理过程。 5.让AI唱歌
我的音频是《慢慢喜欢你》这首歌的干声然后把我的声音替换上去转换了以后《慢慢喜欢你》就是我的声音了接下来就需要把伴奏和我处理后的声音合在一起打开AU这个软件就可以了
选择多轨道 然后将伴奏文件和处理好的音频拖入进来干声放入第一轨道伴奏放入第二轨道对齐就好 然后点击文件导出-多轨混音-整个会话就可以了。记得自己指定输出目录哦
