网站开发开什么票,广州白云区,网站建设及模板使用教程,汽车网站flash模板背景介绍
声纹检索#xff0c;顾名思义就是说话人识别#xff0c;通过声音来验证或者识别说话人的声音。声纹识别的关键步骤就是声音向量化#xff0c;将说话人的声音将其转化成结构化的向量。阿里云AnalyticDB向量版#xff0c;提供了一套声纹验证检索的解决方案。用户只…
背景介绍
声纹检索顾名思义就是说话人识别通过声音来验证或者识别说话人的声音。声纹识别的关键步骤就是声音向量化将说话人的声音将其转化成结构化的向量。阿里云AnalyticDB向量版提供了一套声纹验证检索的解决方案。用户只需要使用简单的几条SQL命令三步之内就可以搭建一套高精度的声纹检索验证服务。
声纹识别技术
1声纹检索演示
图1展示了AnalyticDB向量数据库的声纹检索系统的演示界面。为了方便用户体验我们将380个人的声音信息转化成向量存储在系统中。当前演示系统分成两部分第一部分是检索部分用户输入录制好的声音文件或者用户现场进行录音上传声音文件提交到声纹库进行声音的匹配检索。第二部分是注册部分用户可以注册上传自己的声音到当前的声纹库里面方便后期的查询验证。在接下来的章节中我们分别介绍各个功能。 图1. 声纹演示系统
图2上传一段S0004的测试音频“BAC009S0004W0486.wav”到声纹库里面进行检索可以看到top1的结果S0004就会在最上面进行展示。 图2. 查询声音
图3展示了声纹注册系统用户可以注册自己的声音到后台声纹库里面方便检索。比方说用户Hanchao注册自己的声音只有7s长度到当前的系统里面来。当前系统支持无文本注册用户可以说任何话来进行注册。 图3. 注册声音
图4演示用户现场录制声音上传到系统中进行检索。比方说“Hanchao”录制了一段5秒的语音到声纹系统中进行检索。之前注册过“Hanchao”的声音当前系统可以看到排名第一的声音就是“Hanchao”的声音。 图4. 录制并检索声音
当前对于声纹演示我们采用的是1:N的演示结果可以用在会议室中的识别通过声音可以找到相关的会议说话人。当前对于身份验证这种1:1的演示我们只用限制距离小于550就可以方便的进行身份验证。
2应用结构总体设计
阿里云声纹库检索的系统框架的总体架构如图5所示AnalyticDB声纹库负责整个声纹检索应用的全部结构化信息用户注册标识用户姓名以及其他的用户信息和非结构化信息声音产生的向量的存储和查询。在查询的过程中用户通过声纹抽取模型将声音转成向量在AnalyticDB中进行查询。系统返还回来相关的用户信息以及l2向量距离[5]。其中声音抽取模型的训练和测试我们在下一章进行讲解。 图5. 声纹检索库
3系统精度
当前演示声纹系统采用的是GMM-UMB模型抽取的i-vector作为检索向量[3]。另外我们还训练了精度更高的深度学习声纹识别模型x-vector[4]。并且可以针对特定的场景比方说电话通话场景手机APP场景嘈杂噪声场景等相关的场景进行声纹模型训练详细信息可以加我们的群进行了解。
声纹识别在学术界常用的数据集Aishall.v1 [1]数据集和TIMIT [2]数据集上面的1:N的准确率99.5%见表1。
表1. Top 1 精度测试结果 三步搭建一个声纹系统
第一步初始化。
当前系统实现了声音转向量的函数用户将前端得到的声音通过POST请求发给阿里云服务系统选择对应的声纹模型就可以将声音转成对应的向量。
import requests
import json
import numpy as np# sound 声音二进制文件。
# model_id模型id。
def get_vector(sound, model_idi-vector):url http://47.111.21.183:18089/demo/vdb/v1/retrieved {resource: sound,model_id: model_id}r requests.post(url, datad)js json.loads(r.text)return np.array(js[emb])# 读取用户文件。
file xxx.wav
data f.read()
print(get_vector(data))
f.close()
在初始化的过程中用户创建相关的用户声纹表。同时给表的向量列加入向量索引来加速查询过程。当前声纹模型输出的都是400维的向量所以索引参数dim设置为400。
--创建用户声纹表
CREATE TABLE person_voiceprint_detection_table(id serial primary key, name varchar,voiceprint_feature float4[]
);--创建向量索引
CREATE INDEX person_voiceprint_detection_table_idx
ON person_voiceprint_detection_table
USING ann(voiceprint_feature)
WITH(distancemeasureL2,dim400,pq_segments40);
第二步注册用户声音。
在注册的过程中注册一个用户插入一条记录到当前系统中。
--注册用户张三到当前的系统中。
--通过HTTP服务将声纹转化成相关的向量。INSERT INTO person_voiceprint_detection_table(name, voiceprint_feature)
SELECT 张三, array[-0.017,-0.032,...]::float4[])第三步检索或验证用户声音。
声纹门锁验证1:1 验证在验证系统中系统会得到用户的标识信息user_id在声纹库中计算输入的声音向量和库里该用户的声音向量的距离。一般系统会设置一个距离阈值threshold550如果向量之间的距离大于这个阈值说明验证失败。如果小于阈值说明声纹验证成功。
-- 声纹门锁检测(1:1)验证SELECT id, -- 用户id信息name, -- 用户姓名l2_distance(voiceprint_feature, ARRAY[-0.017,-0.032,...]::float4[]) AS distance -- 向量距离
FROM person_voiceprint_detection_table -- 用户声音表
WHERE distance threshold -- 通常情况下threshold为550 AND id user_id -- 用户要验证的id;
会议声纹检索1:N 检测系统通过识别当前讲话人的声音会返回最相关的注册用户信息。如果没有返回结果说明当前会议说话人不在声纹库里面。
-- 声纹会议人员识别(1:N)验证SELECT id, -- 用户id信息name, -- 用户姓名l2_distance(voiceprint_feature, ARRAY[-0.017,-0.032,...]::float4[]) AS distance -- 向量距离
FROM person_voiceprint_detection_table -- 用户声音表
WHERE distance threshold -- 通常情况下threshold为550
ORDER BY voiceprint_feature - ARRAY[-0.017,-0.032,...]::float4[] -- 利用向量进行排序
LIMIT 1; -- 返回最相似的结果
结尾
详细的声纹模型以及相关的AnalyticDB系统请加我们的钉钉群欢迎大家讨论和使用。2 参考文献
[1] Aishell Data set. https://www.openslr.org/33/
[2] TIMIT Data set.http://academictorrents.com/details/34e2b78745138186976cbc27939b1b34d18bd5b3/
[3] Najim Dehak, Patrick Kenny, Réda Dehak, Pierre Dumouchel, and Pierre Ouellet, “Front-end factor analysis for speaker verification,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 19, no. 4, pp. 788–798, 2011.
[4] David Snyder, Daniel Garcia-Romero, Daniel Povey and Sanjeev Khudanpur, “Deep Neural Network Embeddings for Text-Independent Speaker Verification”, Interspeech , 2017 :999-1003.
[5] Anton, Howard (1994), Elementary Linear Algebra (7th ed.), John Wiley Sons, pp. 170–171, ISBN 978-0-471-58742-2
往期文献
[1] 戴口罩也能刷门禁疫情下AnalyticDB亮出社区管理的宝藏神器https://developer.aliyun.com/article/745160
[2] 阿里云提供高效基因序列检索功能助力冠状病毒序列快速分析https://developer.aliyun.com/article/753097
[3] 阿里云提供高效病原体检测工具助力精准医疗https://yq.aliyun.com/articles/761891
原文链接 本文为云栖社区原创内容未经允许不得转载。
