杭州网站建设长春公司,备案查询站长之家,网站页面布局优化,襄樊建设网站本发明涉及模式识别与计算机视觉领域#xff0c;尤其涉及一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法。 背景技术#xff1a; 视觉一直是人类获取外界信息的最重要、最直观的途径#xff0c;据有关统计#xff0c;人类获取信息的80#xff05;都… 本发明涉及模式识别与计算机视觉领域尤其涉及一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法。 背景技术 视觉一直是人类获取外界信息的最重要、最直观的途径据有关统计人类获取信息的80都是通过视觉。随着摄像头等图像传感器的质量不断上升同时价格的不断下降图像传感器得到大规模的部署和应用每天都会因此产生海量的信息。单纯地依靠眼睛去获取所需要的信息已经不能满足人们对与新信息、新知识的要求。另外随着计算机运算速度的提高、计算能力的进一步增强以及图像处理算法的不断发展计算机视觉技术应运而生。计算机视觉技术依托计算机或者其他嵌入式平台利用图像处理、机器学习和深度学习等技术对图像进行特定目标检测识别、图像切割和图像理解等处理实现对图像中的视觉信息自动分析和智能处理提取我们所感兴趣的信息。近年来计算机视觉技术得到越来越多研究人员的青睐是当前最活跃和最重要的一个方向。基于视频的人体行为识别作为计算机视觉的一个热门研究领域旨在研究和理解视频中人的行为动作包括人的单体行为动作、人与人之间的交互行为、人与环境的交互关系等自动识别视频或者图片序列中的行为动作。 人体行为识别方法主要分为传统的机器学习和深度学习两大类方法。传统的机器学习主要算法流程为特征提取、特征编码、行为分类这三个步骤。深度学习主要有双流卷积网络(two-streamconvolutionalnetworks)及其衍生网络、3d卷积神经网络(3dconvolutionalneuralnetworks3d卷积)和长短期记忆网络(long-shorttermmemorylstm)等等。 当前安防场景下人体动作识别的困难之处包括 (1)在安防场景下异常动作发生频率很低、数据收集和标注困难等问题即无论是常规动作还是异常动作都存在多样且复杂的特点进而导致类别内的多样性较高。 (2)传统的骨架建模方法通常依赖于手工制作的部件或遍历规则导致表达能力有限与难以推广。 时间信息是视频动作识别的关键因素在视频动作识别中探索研究一种有效的运动表示方法是非常重要的。传统如3dhog、运动向量、密集轨迹等运动描述方法存在效率低下、准确率偏低等问题。 技术实现要素 针对上述问题本发明提供一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法解决安防场景下异常动作发生频率很低、数据收集和标注困难传统的骨架建模方法通常依赖于手工制作的部件或遍历规则导致表达能力有限与难以推广传统如3dhog、运动向量、密集轨迹等运动描述方法存在效率低下、准确率偏低等问题。 其首先对获取的安防场景下的人体动作分析数据集进行随机划分分为为训练集和验证集其次对训练集和验证集视频数据进行数据增强处理接着对获取的和增强的数据集利用注意力机制进行关键帧筛选然后对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注为训练人体动作检测与识别模型做好准备最后构建时空骨骼图卷积神经网络模型并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重使用验证集进行神经网络模型的准确率预测。 本发明具体包括以下方案 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法其特征在于包括以下步骤 步骤s1对获取的安防场景下的人体动作分析数据集进行随机划分分为为训练集和验证集 步骤s2对训练集和验证集中的安防视频数据进行数据增强处理 步骤s3对增强后的人体动作分析数据集利用注意力机制进行关键帧筛选 步骤s4对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注 步骤s5构建时空骨骼图卷积神经网络模型使用训练集进行训练并利用随机梯度下降进行优化网络参数权重 步骤s6使用验证集进行融合注意力机制和时空骨骼图卷积神经网络模型的准确率预测。 优选地步骤s1具体包括以下步骤 步骤s11获取安防视频数据构建人体动作分析数据集对获得的安防视频数据进行标准化处理将视频分辨率和帧率统一 步骤s12将所述人体动作分析数据集按照100:1的比例随机分为训练集和验证集。 优选地步骤s2具体包括以下步骤 步骤s21对所述安防视频数据进行自适应随机遮挡增强 步骤s22对所述安防视频数据进行旋转变换增强 步骤s23对所述安防视频数据进行随机剪裁增强 步骤s24对所述安防视频数据进行对比度变换增强 步骤s25对所述安防视频数据进行长或宽拉伸增强 步骤s26对所述安防视频数据进行随机加噪增强 步骤s27对所述安防视频数据进行去噪增强。 优选地步骤s3具体包括以下步骤 步骤s31从一个安防视频数据序列中选择n个视频帧构成一个视频帧集合 步骤s32将所述视频帧集合中的每张图片经过预训练的resnet50处理后得到n*2048*8*4的特征图 步骤s33将所述特征图送入多区域空间注意力模块得到多个关注不同行人的特征集 步骤s34将不同视频帧同一个行人的特征经过时域注意力模块进行处理 步骤s35在时域上进行聚合得到一个行人的一个向量表示多个行人得到的多个向量连接后经过一个全连接降维后作为视频序列的特征训练阶段使用oimloss训练获得一个视频序列的关键帧。 优选地步骤s4具体包括以下步骤 步骤s41对筛选出来的关键帧视频输入到openpose姿态估计系统中并使用coco模型提取18个关键点坐标信息和概率 步骤s42将关键帧视频数据表示为(3,t,18,2)的张量其中t为视频数据的帧数并将每个关键帧视频通过重复填充到300帧使一个特征对应一个json数据文件 步骤s43将提取完特征的全部所述json数据文件转化并打包为一个关键帧视频文件对应一个json数据文件的格式 步骤s44对打包完的json数据文件进行人工标注把关键帧视频对应的动作类型用标签进行标明。 优选地在步骤s41当中多人场景下只选取置信度(所有关键点置信度均值)最高的两个人的关键点信息。 优选地步骤s5具体包括以下步骤 步骤s51构造时空骨骼图卷积神经网络模型采用图像卷积核公式其中x表示位置k表示内核大小h表示卷积核高度偏移的坐标ω表示卷积核纵向偏移的坐标fin表示输入特征函数fout(x)表示x处的输出特征函数p表示抽样函数w表示权重函数 步骤s52将给定的某帧内的节点按照人体结构进行连接然后将此帧按帧内每个节点和下一帧中对应节点进行连接 步骤s53使用所述训练集进行训练并利用随机梯度下降对网络参数权重进行优化损失函数为其中j(θ)是损失函数m代表每次取多少样本进行训练i代表从1到m的循环参数采用随机梯度下降进行训练每次随机取一组样本m1θ是参数h(θ)为待拟合的函数x是样本值y是预测目标。 优选地步骤s6具体包括以下步骤 步骤s61将所述验证集进行数据增强 步骤s62采用步骤s3和s4的方法对验证集使用注意力机制进行关键帧筛选并转码和标注得到视频中关键帧的信息 步骤s63将步骤s62得到的视频中关键帧的信息传入所述融合注意力机制和时空骨骼图卷积神经网络模型得到一个类别将此类别与标注的结果进行比较计算准确率。 与现有技术相比本发明及其优选方案具有以下主要有益效果(1)不仅可以扩大原始动作数据量还可以增强模型的鲁棒性进而提升最终的动作识别准确率。(2)较大程度地提升了骨架建模能力。不仅具有较强的表达能力而且具有较强的泛化能力。 附图说明 下面结合附图和具体实施方式对本发明进一步详细的说明 图1是本发明实施例整体流程示意图。 具体实施方式 为让本专利的特征和优点能更明显易懂下文特举实施例并配合附图作详细说明如下 如图1所示本实施例整体流程包括以下步骤 步骤s1对获取的安防场景下的人体动作分析数据集进行随机划分分为为训练集和验证集 在本实施例中所述步骤s1具体包括 步骤s11采取自建或者下载公用的安防领域数据集对获得的视频数据统一进行处理将大小缩放为340*256帧数率调整为30帧/秒 步骤s12将数据集按照100:1的比例随机分为训练集和验证集。 步骤s2对训练集和验证集视频数据进行数据增强处理 在本实施例中所述步骤s2具体包括 步骤s21对视频数据进行自适应随机遮挡增强 步骤s22对视频数据进行旋转变换增强 步骤s23对视频数据进行随机剪裁增强 步骤s24对视频数据进行对比度变换增强 步骤s25对视频数据进行长或宽拉伸增强 步骤s26对视频数据进行随机加噪增强 步骤s27对视频数据进行去噪增强 步骤s3对获取的和增强的数据集利用注意力机制进行关键帧筛选 在本实施例中所述步骤s3具体包括 步骤s31从一个安防视频数据序列中选择n个视频帧构成一个视频帧集合 步骤s32将所述视频帧集合中的每张图片经过预训练的resnet50处理后得到n*2048*8*4的特征图 步骤s33将所述特征图送入多区域空间注意力模块得到多个关注不同行人的特征集 该多区域空间注意力模块的具体实现方式为对于每张图看作有32个2048维的空间特征对于每个空间注意力模块将2048*32的空间特征图经过d个神经元的全连接和relu降维得到dx32然后再经过一个神经元的全连接得到一张图32个空间向量分数经过softmax得到32个空间向量的权重然后根据l个权重对l个空间特征进行加权求和得到第n帧、第k个空间注意力模块的特征 步骤s34将不同视频帧同一个行人的特征经过时域注意力模块进行处理时域注意力模块是为了关注到更多细粒度的信息采用了n*k个权重、每帧视频的每个空间感受野一个单独权重的时域注意力方法。该模块具体实现为将特征图经过一个神经元的全连接得到一个分数然后经时域上的softmax得到时域权重 步骤s35在时域上进行聚合得到一个行人的一个向量表示多个行人得到的多个向量连接后经过一个全连接降维后作为视频序列的特征训练阶段使用oimloss训练获得一个视频序列的关键帧。 步骤s4对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注为训练人体动作检测与识别模型做好准备 在本实施例中所述步骤s4具体包括 步骤s41对筛选出来的关键帧视频输入到openpose姿态估计系统中并使用coco模型提取18个关键点坐标信息和概率多人场景下只选取置信度最高(所有关键点置信度均值)的两个人的关键点信息 步骤s42将视频数据表示为(3,t,18,2)的张量其中t为视频数据的帧数为方便起见将每个视频通过重复填充到300帧此时是一个特征一个json数据文件即一个视频文件有多个特征数据。 步骤s43将提取完特征的全部json格式文件转化并打包为一个视频文件对应一个json文件的格式。 步骤s44对打包完的json视频数据进行人工标注把视频文件对应的动作类型用标签进行标明。为训练人体动作检测与识别模型做好准备。 步骤s5构建时空骨骼图卷积神经网络模型并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重 在本实施例中所述步骤s5具体包括 步骤s51构造时空骨骼图卷积神经网络模型采用图像卷积核公式其中x表示位置k表示内核大小h表示卷积核高度偏移的坐标ω表示卷积核纵向偏移的坐标fin表示输入特征函数fout(x)表示x处的输出特征函数p表示抽样函数w表示权重函数 步骤s52将给定的某帧内的节点按照人体结构进行连接然后将此帧按帧内每个节点和下一帧中对应节点进行连接这样构造可使模型应用于具有不同节点数和节点连接关系的不同数据集 步骤s53使用训练集进行训练并利用随机梯度下降进行优化网络参数权重损失函数为其中j(θ)是损失函数m代表每次取多少样本进行训练i代表从1到m的循环参数采用随机梯度下降进行训练每次随机取一组样本m1θ是参数h(θ)为待拟合的函数x是样本值y是预测目标。 步骤s6使用验证集进行融合注意力机制和时空骨骼图卷积神经网络模型的准确率预测。 在本实施例中所述步骤s6具体包括 步骤s61将验证集进行数据增强 步骤s62采用步骤s3和s4的方法对验证集使用注意力机制进行关键帧筛选并转码和标注得到视频中关键帧的信息 步骤s63将步骤s62得到的视频中关键帧的信息传入所述融合注意力机制和时空骨骼图卷积神经网络模型得到一个类别将此类别与标注的结果进行比较计算准确率。 本专利不局限于上述最佳实施方式任何人在本专利的启示下都可以得出其它各种形式的安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法凡依本发明申请专利范围所做的均等变化与修饰皆应属本专利的涵盖范围。 完整全部详细技术资料下载 当前第1页1 2 该技术已申请专利。仅供学习研究如用于商业用途请联系技术所有人。技术研发人员柯逍;柯力技术所有人福州大学我是此专利的发明人 上一篇一种基于深度残差网络的文字透底现象去除方法与流程上一篇一种用于瘦小型船尾船舶的节能水翼的制作方法 该领域下的技术专家如您需求助技术专家请点此查看客服电话进行咨询。1、李老师1.计算力学 2.无损检测2、毕老师机构动力学与控制3、袁老师1.计算机视觉 2.无线网络及物联网4、王老师1.计算机网络安全 2.计算机仿真技术5、王老师1.网络安全物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用如您是高校老师可以点此联系我们加入专家库。 相关技术 基于深度学习先验的人脸表情识...基于视觉关系检测的煤矿综采工...虚拟形象控制方法、虚拟形象控...内指纹提取方法、装置、系统及...用于确定对象状态的方法、装置...一种基于Kinect装置的步...基于波形特征差异的电流互感器...一种基于特征融合和机器学习的...一种图片处理方法、装置及计算...一种基于改进VGG-16模型... 网友询问留言已有0条留言 还没有人留言评论。精彩留言会获得点赞 1
