网站域名购买com,建立网站英文,计算机软件开发就业前景,前端开发和后端开发哪个赚钱随着AI生成的歌声快速进步#xff0c;现在能够逼真地模仿自然人类的歌声并与乐谱无缝对接#xff0c;这引起了艺术家和音乐产业的高度关注。歌声与说话声不同#xff0c;由于其音乐性质和强烈的背景音乐存在#xff0c;检测伪造的歌声成为了一个特殊的领域。 SVDD挑战是首个… 随着AI生成的歌声快速进步现在能够逼真地模仿自然人类的歌声并与乐谱无缝对接这引起了艺术家和音乐产业的高度关注。歌声与说话声不同由于其音乐性质和强烈的背景音乐存在检测伪造的歌声成为了一个特殊的领域。 SVDD挑战是首个专注于检测实验室控制和野外真实与伪造歌声录音的研究挑战。该挑战将在2024年IEEE口语语言技术研讨会SLT 2024上举行。 挑战目标SVDD挑战旨在汇集学术界和工业界的资源开发出创新和有效的技术来检测伪造的歌声。 挑战分为两个不同的轨道控制环境CtrSVDD和野外环境WildSVDD。CtrSVDD使用无伴奏的歌声而WildSVDD则包含背景音乐。CtrSVDD数据集在Zenodo上发布WildSVDD数据集同样在Zenodo上发布提供了训练和测试分区。
1、控制环境CtrSVDD
使用现有的14种歌声合成SVS和歌声转换SVC系统从真实的声乐剪辑生成深度伪造的歌声。这些系统包括ESPnet-Muskits、NNSVS、DiffSinger、ACESinger等。
测试集SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (CtrSVDD Track, Test Set)
训练及开发集SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (CtrSVDD Track, Training/Development Set) 2、野外环境WildSVDD
WildSVDD数据集通过从社交媒体平台收集数据来构建类似于SingFake项目。数据集已经扩展到原始SingFake的大约两倍大小包含了更多的歌手和歌曲。
CtrSVDD数据集SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge (WildSVDD Track) 3、基线系统架构图
挑战有两个基线系统一个使用原始波形另一个使用线性频率倒谱系数LFCCs作为前端特征。基线系统的架构如下图所示 4、关键日期
2024年5月7日CodaBench研究结果提交开放根据请求访问
2024年6月8日SVDD挑战注册截止日期
2024年6月8日SVDD挑战额外训练数据集许可请求截止日期
2024年6月8日组织者发布所有可用的训练数据集
2024年6月15日结果提交截止日期结果系统描述CodaBench挑战提交关闭。结果将在CodaBench上公开并电子邮件给参与者以官方确认。 5、歌声合成SVS和歌声转换SVC知名工具和模型
5.1 ESPnet-Muskits
ESPnet 是一个开源的音乐处理工具包目前主要关注端到端歌声合成Muskits 是 ESPnet 中用于歌声合成的一个扩展工具集。Muskits 采用pytorch作为深度学习引擎遵循ESPnet和Kaldi风格的数据处理方式以及配方来提供各种音乐的完整设置用于歌声的合成包括声码器、声学模型和文本前端。它支持多种语言并能够生成自然听起来的歌声。
5.2 NNSVS (Neural Network-based Singing Voice Synthesis)
NNSVS 是由日本名古屋大学提出的一个基于神经网络的歌声合成系统最新版本是nnsvs-world v4。它利用深度学习技术来模拟人类歌手的声音并生成与音乐伴奏同步的歌声。NNSVS 通常包括音符特征提取、声码器和声音建模等组件。
5.3 DiffSinger
DiffSinger 是一个基于扩散机制的歌声合成模型由中国科学院声学研究所提出。它通过模拟声音的物理生成过程来生成歌声能够生成具有不同歌手特征的歌声。DiffSinger 的一个特点是它使用了一种浅层扩散机制这使得它在生成歌声时能够保持较高的音质。在中文歌唱数据集上其技术性能和音乐表现力均优于现有声学模型。
5.4 ACESinger
ACESinger 是由清华大学提出的一个歌声合成系统它能够生成与音乐伴奏同步的歌声。ACESinger 采用了先进的深度学习技术包括变分自编码器VAE和生成对抗网络GAN来生成自然且富有表现力的歌声。
6、数据共享工具相关资源
Zenodo是一个多学科研究产品储存库支持各种内容包括刊物、演示文稿、论文集、项目、图像、软件包括与GitHub的集成以及所有语言的数据由欧洲核子研究组织 (European Organization for Nuclear Research, CERN) 维护。它对数据格式没有任何限制最多可以存储50GB的数据。此储存库中数据可终身保存可以采用封闭只要未授权都无法访问、开放或禁止禁止期内无法访问状态储存。
DataCiteDataCite成立于2009年最初是一个国际合作组织目的是为研究数据提供稳定的在线识别信息。DataCite的服务目的还包括为科学数据创建元数据metadata集为用户分配DOI、增强数据搜索能力、与会员共同建立共享数据库和高效引用机制。它收集每个有DOI的元数据结合成大型索引研究数据这些数据可直接查询让人查找数据和其他研究物件正确引用数据获取统计数据并探索连接。所有元数据都可自由访问和查看。DataCite 提供了一个集成的搜索界面可以从数百万条记录中搜索、筛选和提取所有细节。该软件可用于跟踪与基金相关的数据这点很重要因为资助机构要求数据共享。此外跟踪经费数据可以让资助机构更好地了解他们的资金所产生的影响。
Dryad一个科学和医学论文数据储存库让科研论文的数据可被发现可自由重复使用和可引用。Dryad 可存储表格、电子表格、文本、视频、照片、软件代码和其他无储存库可保存的发表数据。Dryad 支持许多期刊的整合提交功能因此当作者将数据与其发表的文章一起提交给 Dryad时数据的链接也会包含在发表的文章中。Dyrad的目标用户是研究人员、期刊、科研协会、出版商、研究单位、图书馆和资助机构因此具有广泛的知名度并且数据库资源丰富。
Figshare一个基于云计算网络的在线数字资源库科研人员可以保存和分享他们的研究成果包括数据、数据集、图像、视频、海报和代码从而使得他们的研究甚至包括初步研究曝光并获得认可。由于Fighare遵循开放数据原则用户可以自由访问数据和上传内容。因此科研人员可以通过Fighare公开他们的数据Fighare上的所有条目都有DOI方便引用。Fighare还跟踪托管材料的下载统计做为altmetrics的来源。
