长春网站建设 4435,池州市网站建设优化,qq登录网站授权怎么做,企业网站备案域名信息数据与代码见文末
论文地址#xff1a;https://arxiv.org/pdf/1907.12279.pdf
1.概述 什么是变声器#xff0c;变声器就是将语音特征进行转换#xff0c;而语音内容不改变 那么我们如何构建一个变声器呢#xff1f; 首先#xff0c;我们肯定不能为转换的每一种风格的声…数据与代码见文末
论文地址https://arxiv.org/pdf/1907.12279.pdf
1.概述 什么是变声器变声器就是将语音特征进行转换而语音内容不改变 那么我们如何构建一个变声器呢 首先我们肯定不能为转换的每一种风格的声音训练一种网络因此我们可以采用star gan的思想参见Star GAN论文解析-CSDN博客只训练一个对抗生成网络解决所有问题。当然任务不同具体的网络结构需要改变 需要的什么输入呢输入当然是声音数据和标签编码one hot类型。
2.输入数据 输入声音数据最重要的指标为频率即每秒钟波峰所发生的数目称之为信号的频率用单位千赫兹(kHz)表示 通常来讲声音信号为一段剧烈震荡的波形当我们将声音信号不断放大时就有可能出现一个一个的小线段极限的思想。例如0.1ms此时我们可以对声音进行采样例如秒0.1ms 4.8次最终声音频率为4.8kHZ 3.语音特征提取
1声音信号的预处理
首先进行16KHZ重采样即每秒采用16k次然后进行预加重通过来说高频信号价值更大于是我们补偿高频信号让高频信号权重更大一些 分帧类似时间窗口得到多个特征段
2特征汇总 基频特征(FO):声音可以分解成不同频率的正弦波其中频率最低的那个就是基频特征 频谱包络:语音是一个时序信号如采样频率为16kHz的音频文件(每秒包含16000个采样点)分后得到了多个子序列然后对每个子序列进行傅里叶变换操作就得到了频率-振幅图(也就是描述频率-振幅图变化趋势的 Aperiadic参数:基于FO与频谱包络计算得到
3MFCC 流程:连续语音--预加重--加窗分帧--FFT傅里叶变换--MEL滤波器组--对数运算--DCT 通常来讲我们人对低频的声音更敏感例如从100HZ到200HZ我们明显能够感觉到声音的变化。而如果声音从4000HZ到4100HZ我们则感觉不到明显的变化。这可以从斜率的角度理解其图像类似于一个对数函数。 FFT傅里叶变换之后就把语音转换到频域MEL滤波器变换后相当于去模拟人类听觉效果。 最后DCT相当于提取每一帧的包络 (这里面特征多
4.网络架构
1生成器网络结构 在生成器中首先进行下采样然后提取特征最后上采样输出结果类似与ecoder和decoder的过程。 2Instance normalization的作用 在声音数据中有语音特征和文本特征对于语音特征我们希望保留其原始内容。 Instance normalization是从每一个实例维度出发进行归一化。即首先使用多组卷积进行特征提取然后对每个特征图进行归一化。经过归一化后声音特征被平均化从而消除了特性而基本的文本特征被保留。 3AdaIn的目的与效果 AdaIn主要用于解码器中需要我们还原其声音特性。AdaIn有点类似于通道注意力即使用FC层为每个通过学习一个权重项和偏置项注意FC层学习的参数是基于标签的one-hot变量学习而来。 4判别器 判别器主要用于判断声音是原始的还是合成的即判断真假。对于输入的声音数据不断进行下采样。最后得到真假的预测。真预测接近于1假预测接近于0. 标签的处理首先每个domain进行one hot编码得到B*d的编码向量然后将sourse和target进行拼接。拼接后编码为B*C的向量。而GSP层会将输出向量B*C*H*W压成B*C的向量最后和标签得到的向量内积得到B*C的向量对最终结果在sum一下得到B*1的向量然后加入经过FC层的B*1的向量x中最终得到预测值 数据与代码链接https://pan.baidu.com/s/1aNlghgo6mtD4iWqNgMOWOQ?pwds206 提取码s206
