乡林建设集团官方网站,h5设计是什么,阳江市最大人才招聘网,嘉兴网站建设方案人工智能技术与咨询 来源#xff1a;《电子学报》 #xff0c;作者李宝奇等
摘 要: 针对SSD原始附加特征提取网络(Original Additional Feature Extraction Network#xff0c;OAFEN)中stride操作造成图像小目标信息丢失和串联结构产生的多尺度特征之间冗余度较大的问题《电子学报》 作者李宝奇等
摘 要: 针对SSD原始附加特征提取网络(Original Additional Feature Extraction NetworkOAFEN)中stride操作造成图像小目标信息丢失和串联结构产生的多尺度特征之间冗余度较大的问题提出了一种计算量小、感受野大的深度可分离空洞卷积(Depthwise Separable Dilated ConvolutionDSDC)并利用DSDC设计了一个包含三个独立子网络的并行附加特征提取网络(Parallel Additional Feature Extraction NetworkPAFEN)PAFEN上路用两个DSDC提取尺寸为19*19和3*3的特征图;中路用一个DSDC提取尺寸为10*10的特征图;下路用两个DSDC提取尺寸为5*5和1*1的特征图实验结果表明在SSD框架内PAFEN在mAP和检测时间等方面均优于OAFEN适用于地面小目标的检测任务
关键词: 目标检测;SSD;深度可分离卷积;空洞卷积;深度可分离空洞卷积;并行附加特征提取网络
1 引言
地面目标检测在无人机导航、搜索、精确打击和毁伤后评估中发挥着重要作用13考虑飞行安全和飞行距离无人机通常会在较远距离获取地面目标图像由此造成的结果是图像内目标像素比较小这会进一步增加目标检测的难度4
通过将深度学习57模型 CNN(Convolutional Neural Networks)810嵌入到目标检测模型之中目标检测精度在过去几年中不断提高结合CNN的目标检测算法可分为基于候选区域和基于回归两类Girshick等11第一个将CNN用于目标检测并提出R-CNN(Regionbased Convolutional Neural Networks)模型R-CNN使用区域建议方法从输入图像中生成2000个候选区域并将所有的候选区域缩放到固定尺寸然后使用CNN在这些候选区域上提取特征在CNN的最后一个特征层加入两个全连接层(SVM和回归层)由于SVM和回归层是分开训练R-CNN很难优化而且占用内存空间非常大Girshick 等12又提出 Fast R-CNN 模型Fast RCNN首先在图像中提取感兴趣区域 (Regions of InterestRoI);然后对每幅图像只做一次卷积处理在最后一个卷积层输出的特征图上对每个RoI进行映射并送入RoI池化层把各尺寸的特征图统一到相同的大小13;最后利用 Softmax Loss和 Smooth L1 Loss对分类概率和边框回归联合训练联合训练省去了特征存储提高了空间和时间利用率然而提取感兴趣区域占用了整个检测过程的大部分时间Ren等14提出了目标检测模型Faster R-CNN与Fast R-CNN相比Faster RCNN利用RPN(Region Proposal Network)在CNN最后一个连接层中自行产生建议框因此建议框生成网络和目标检测网络共享卷积网络同时建议框数目从原有的约2000个减少为300个重要的是建议框的质量也有本质的提高但Faster R-CNN检测的速度依然有待提高
基于区域建议的目标检测方法不能利用局部目标在整幅图像中的空间信息所以一些研究者开展了无区域建议的目标检测研究主要采用回归的思想Redmon等15提出了一种无区域建议的目标检测模型称为YOLO(You Only Look Once)YOLO通过采用空间限制减少了对同一目标的重复检测大大提高了效率能够达到实时的效果但是YOLO的检测精度不如Faster R-CNN针对 YOLO 存在的不足Liu等16提出 SSD(Single Shot Detector)模型SSD模型主要由四部分组成:基础网络VGG-16(Visual Geometry Group)附加特征提取层部分default boxes生成部分和卷积预测部分SSD通过融合六个尺度的特征来提高目标检测的精度原始附加特征提取网络从基础网络特征层conv4_3(38*38)开始然后通过在标准卷积层中使用stride操作依次生成 fc7(19*19)、conv6_2(10*10)、conv7_2(5*5)、conv8_2(3*3)和conv9_2(1*1)五个尺度的特征图stride操作会造成图像目标信息的丢失1719尤其是图像中的小目标原始附加特征提取网络中六个尺度的特征图采用串联结构生成彼此之间具有很高的冗余度特征图之间冗余度较高不利于图像小目标的精准定位为了提高SSD对小目标的检测精度Cao等20提出 FFSSD(Feature-Fused SSD)模型FFSSD 利用Feature Fusion Module对VGG-16中conv5_3进行2倍上采样操作并与conv4_3融合来提高小尺寸目标的检测精度Fu等21提出 DSSD(Deconvolutional Single Shot Detector)模型DSSD基础网络为特征提取能力更强的Resnet-101并利用Deconvolution Module扩展低维度信息的上下文信息来提高小尺度目标的检测精度FFSSD和DSSD都是通过整合更多尺度上的语义特征来提高模型对小目标的检测精度但是这些方法在提高对于目标物体特别时小物体识别效果的同时由于加入了额外的层也增大了计算量影响了检测的实时性Zhou 等22提出了 STDN(Scale-Transferrable Object Detection)模型STDN基础网络为 DenseNet-169并通过Scale-Transfer层实现了在几乎不增加参数量和计算量的前提下生成大尺寸的特征层来提高模型对小目标的检测精度由于Scale-Transfer层是一个转换操作因此基本不会引入额外的参数量和计算量为了提高SSD的检测速度Howard等23提出了轻量化的卷积神经网络MobileNetMobileNet用深度可分离卷积(Depthwise Separable ConvolutionDSC)替换标准卷积来减少模型的参数和计算量它在不影响目标检测精度的条件下能极大地提高SSD的检测速度
除了上述针对SSD的改进方法外还有一些其它提高小目标检测精度的研究工作例如设计专用的目标检测的骨干网络24优化检测模型训练过程25IoU阈值动态设计26和生成高分辨率小目标特征27等特别是文献27Li等提出了一种基于PGAN(Perceptual Generative Adversarial Networks)的小目标检测方法PGAN通过训练条件生成网络使小目标的特征表示与大目标特征表示类似并利用一个新的感知分类器来监督小目标特征的生成从而更精确地检测小目标
针对上述改进方法不能兼顾小目标检测精度和速度的问题本文提出了一种计算量小覆盖范围大的卷积单元-深度可分离空洞卷积(Depthwise Separable Dilated ConvolutionDSDC)并利用 DSDC设计了一种包含三个子网络的并行附加特征提取层网络(Parallel Additional Feature Extraction NetworkPAFEN)同时通过优化DSDC空洞率(Dilation Rate)的选取来改善 PAFEN的性能最后在SSD框架内通过结合MobileNet(基础网络)和PAFEN(特征提取网络)实现对地面小目标的快速、准确的检测
2 基于并行附加特征提取网络的SSD小目标检测模型
本文通过改进附加特征提取网络来提高SSD对地面小目标的检测精度和速度在新的附加特征提取网络中深度可分离空洞卷积作为网络基本单元(深度可分离空洞卷积摒弃了stride操作它通过通道分解和卷积核空洞化来减少计算量和增大感受野);三个独立子网络结构替代原来的单网络串联结构以增加多尺度特征图的多样性并为与conv4(在MobileNet中与VGG-16中conv4_3对应的层为conv4)直接相连的三个多尺度特征fc7、conv6_2和conv7_2设计convex空洞率策略来增加上下两个子网络的信息以改善新附加特征提取网络的性能
2.1 深度可分离空洞卷积单元
深度可分离卷积通过将标准卷积分解成深度卷积和点卷积来大幅降低模型的参数重要的是卷积层的特征提取能力基本不受影响但为了生成尺寸更小的特征图深度可分离卷积只能通过增加卷积核尺寸或stride操作实现过大尺寸的卷积核会大幅增加模型参数而stride操作会造成图像小目标信息的丢失深度可分离空洞卷积是在深度可分离卷积的基础上通过对深度卷积空洞化实现空洞化是向标准卷积中引入了一个称作空洞率的新参数17并利用扩张率控制卷积核处理数据时各值的间距从而在计算量相当的条件下实现卷积层感受野的增大深度可分离空洞卷积与深度可分离卷积相比具有更大的感受野与空洞卷积相比具有更小的计算量深度可分离空洞卷积(DSDC)、深度可分离卷积(DSC)和标准卷积之间的关系如图1所示
对于M个尺寸为DF*DF的输入特征图F经尺寸为DK*DK的卷积核操作后输出N个尺寸为DG*DG的特征图G其中DF是输入的特征图的宽度和高度M是输入通道数DG是输出特征图的宽度和高度N是输出通道数标准卷积、深度可分离卷积和深度可分离空洞卷积的计算分解过程如图2所示 标准卷积生成特征图G的计算成本为: 深度可分离卷积生成特征图G的计算成本为: 深度可分离空洞卷积生成特征图G的计算成本为: 深度可分离卷积和深度可分离空洞卷积与标准卷积的计算成本比值均为: 但在相同计算量的条件下深度可分离空洞卷积的覆盖范围更大深度可分离空洞卷积实际空洞滤波器(RDF)尺寸与空洞率之间的关系如下: 其中K rdf为该层RDF尺寸DK为该层卷积核尺寸R为该层空洞率大小例如一个卷积核尺寸为3*3空洞率R2的空洞卷积层RDF的实际覆盖范围为5*5即K rdf5同时可以通过进一步增大空洞率R来扩大卷积层的感受野
2.2 基于并行附加特征提取网络的SSD小目标检测模型设计
附加特征提取网络并行化设计是由conv4直接生成剩余的多尺度特征图每个子网络之间保持独立生成的多尺度特征图之间的冗余度也相对较小23考虑conv7_2(5*5)、conv8_2(3*3)和 conv9_2(1*1)三个尺度的特征图尺寸比较接近因此将剩余的五个尺度特征图设计为三个独立的子网络结构即conv4与fc7、conv6_2和conv7_2直接相连接同时将 conv8_2和conv9_2分配到上路和下路两个子网络有助于提升fc7和conv7_2特征图的质量也可以避免与conv7_2特征尺度上的重复基于MobileNet和PAFEN的SSD地面小目标检测模型结构如图3所示记作MPSDD 地面小目标图像首先进入SSD基础网络部分其中基础网络为MobileNet被截断至conv4的部分网络并将conv4作为PAFEN的第一个特征层;PAFEN由conv4生成三个独立的子网络:上路子网络、中路子网络和下路子网络上路子网络由conv4(38*38)生成fc7(19*19)和conv8_2(3*3)两个尺度的特征图;中路子网络由 conv4(38*38)生成conv6_2(10*10)一个尺度的特征图;下路子网络由conv4(38*38)生成conv7_2(5*5)和conv9_2(1*1)两个尺度的特征图default boxes生成部分根据预先定义的scales和aspect ratios从上述六个尺度的特征层中提取数量和大小不同的default boxes;卷积预测部分则是对default boxes内目标的类型和位置进行判断
利用深度可分离空洞卷积构建PAFEN需要首先解决网格问题1719网格问题就是空洞卷积网络每一层实际感受野叠加操作后无法实现对输入图像的完全覆盖因此会造成信息的丢失文献17和文献19针对并行和串行空洞卷积网络分别提出了卷积核尺寸固定下的空洞率选取准则考虑PAFEN并非严格意义上的串联或并联结构同时PAFEN主要是为了提取图像小目标特征因此文献17和文献19中的空洞率选取策略并不适用PAFEN中深度可分离空洞卷积空洞率的设计为了更好地提取图像小目标特征PAFEN中使用的空洞率数值整体相对较小同时由于PAFEN上路和下路子网络均包含两个DSDC因此fc7和conv7_2使用更小的空洞率有利于提高两个子网络特征图的质量PAFEN中五个深度可分离空洞卷积层的参数设置如表1所示
为了严格保证PAFEN与OAFEN中多尺度特征图尺寸完全一致需要对部分DSDC进行填充例如fc7、conv6_2和 conv9_2
表1 并行附加特征提取网络参数设置 3 仿真试验
为了验证PAFEN的有效性以及特征层组合方式和DSDC空洞率选取对PAFEN性能的影响实验以mAP、平均检测时间和参数大小作为模型定量评价指标设计实验 1以 MOSSD23(基础网络为 MobileNet特征提取网络为OAFEN)为参考比较分析Faster-RCNN14、SSD16、FFSSD20、DSSD21与本文地面小目标检测方法MPSSD(基础网络为MobileNet特征提取网络为PAFEN)之间的性能差异设计实验2以附加特征提取网络中不同尺度的特征图为研究对象比较分析特征图不同的组合方式对PAFEN性能的影响设计实验3以深度可分离空洞卷积的空洞率为研究对象比较分析不同的空洞率选取方式对PAFEN性能的影响SSD、FFSSD、DSSD、MOSSD 和 MPSSD 由 Caffe工具箱设计采用 GPU(Titan X)计算方式28其中检测时间为模型检测100幅图像的平均前向时间参数大小指模型(caffemodel文件)的实际大小Faster-RCNN实验模型由TensorFlow工具箱设计同样采用GPU(Titan X)计算方式平均检测时间为模型检测完整测试数据集的平均时间参数大小指模型(ckpt文件)的实际大小
3.1 实验数据集
为了更好地检验基于PAFEN的SSD模型(MPSSD)对图像小目标的检测性能我们建立了一个地面小目标数据集:SGT-DETSGT-DET包括四种地面目标:军用卡车、直升机、导弹和坦克共计3350幅图像其中2410幅用于模型训练940幅图像用于模型测试如表2所示
表2 地面小目标数据集组成 地面小目标是一个相对的概念其中“小”指的是图像中目标的像素比值小SGT-DET图像中四个地面小目标的像素比均小于0.05
3.2 实验1:目标检测算法的性能比较
本实验比较分析 Faster-RCNN、SSD、FFSSD、DSSD、MOSSD与本文地面小目标检测方法MPSSD在数据集SGT-DET上的性能差异Faster-RCNN的基础网络为VGG-16特征提取网络为 RPN;SSD的基础网络为VGG-16特征提取网络为OAFEN;FFSSD的基础网络为VGG-16特征提取网络为 Feature Fusion Module;DSSD的基础网络为ResNet101特征提取网络为Deconvolution Module;MOSSD的基础网络为MobileNet特征提取网络为OAFEN;MPSSD的基础网络为MobileNet特征提取网络为PAFEN其中PAFEN包含三个独立的子网络其中fc7conv6_2和conv7_2三个卷积层的卷积核空洞率和填充为831、751和1230分别记录检测模型在迭代30000次时对 SGTDET测试数据集的mAP数值、平均检测时间和参数大小
从表3可以发现Faster-RCNN的检测精度最高为97.6%MPSSD的检测时间最短为7.18msMPSSD的参数大小最少为7.9MBFFSSD、DSSD和SSD的实验结果表明增加特征提取网络的层数(增加contextual information)能够改善SSD对小目标检测的精度但不可避免地会增加计算量和模型参数MOSSD和SSD的实验结果表明利用MobileNet替换VGG-16在减少模型参数和降低检测时间方面带来的效果是明显的但也存在检测精度上的下降MPSSD和MOSSD的实验结果表明PAFEN在三种定量评价指标中明显优于OAFEN在地面小目标的检测任务中PAFEN比OAFEN精度更高速度更快综合考虑检测精度(mAP)、平均检测时间(Times)和参数大小(Parameters)三个因素MPSSD优于其它检测模型更适合无人机远距离地面实时检测任务
为了更直观的说明MPSSD对地面小目标的检测效果通过Juyter notebook利用训练30000次的MPSSD模型分别对4种地面小目标图像进行检测检测结果如图4所示从图4可以看出MPSSD模型对四种地面小目标能实现准确检测
表3 目标检测模型性能比较 3.3 实验2:子网络数量对PAFEN性能的影响
本实验比较不同数量子网络对PAFEN性能的影响实验以包含三个子网络的 PAFEN为参考记PAFEN-3;设计包含一个子网络的PAFEN-1和包含五个子网络的PAFEN-5PAFEN-1可解释为OAFEN的深度可分离空洞化其中 fc7、conv6_2、conv7_2、conv8_2和conv9_2五个卷积层的卷积核、空洞率和填充为831、430、432、321和321PAFEN-5为包含五个独立子网络的并行附加特征提取网络即fc7、conv6_2、conv7_2、conv8_2 和 conv9_2 直接与 conv4相连其中五个卷积层的卷积核、空洞率和填充为831、840、851、850和863记录模型迭代30000次时模型对SGT-DET测试数据集的mAP数值、平均检测时间和参数大小
从表4可以看出随着PAFEN子网络数量的增加模型的检测时间和参数都存在一定的增加其中PAFEN-3比 PAFEN-1时间增加 0.09ms、参数增加0.4MBPAFEN-5比PAFEN-1时间增加0.24ms参数增加1.4MB但检测精度并没有随着子网络数量的增加而改善PAFEN-5的mAP比PAFEN-3低3.3%综合考虑检测精度、平均检测时间和参数大小三个评价指标将PAFEN设计成三个子网络效果最好
表4 子网络数量对PAFEN性能的影响 3.4 实验3:空洞率选取对PAFEN性能的影响
fc7、conv6_2、conv7_2 与 conv4 直接相连这三个卷积层对PAFEN的性能影响最大因此本实验主要分析和比较fc7、conv6_2、conv7_2三个卷积层空洞率选取对PAFEN性能的影响实验设计四种形式的空洞率策略:rise、decline、uniformity和 convex其中 convex 为 PAFEN采用的策略rise、decline和uniformity三种策略的空洞率分别为357、753和555记录模型迭代30000次时对SGT-DET测试数据集的mAP数值、平均检测时间和参数大小
从表5可以看出四种空洞率策略下模型的检测时间和参数大小基本相同rise、decline、uniformity三种策略下模型的mAP数值也保持在同一水平但convex策略下模型的mAP数值高于其他三种策略比rise高2.7%比decline高2.6%比uniformity高2.3%换句话说为包含更多层的子网络的初始层设置较低的空洞率有助于提升PAFEN的性能
表5 空洞率选取对PAFEN性能的影响 3.5 讨论
实验从mAP、平均检测时间和参数大小三个方面比较了本文小目标检测方法MPSSD与经典算法(Faster-RCNN和SSD)和最新算法(FFSSD和DSSD)性能上的差异也进一步分析了子网络的数量和空洞率的选取如何影响PAFEN的性能本文地面小目标检测模型MPSSD的基础网络为 MobileNet特征提取网络为PAFENPAFEN利用计算量小、感受野大的深度可分离空洞卷积单元组建附加特征提取网络能消除stride操作造成图像中小目标信息丢失的问题PAFEN采用三个独立的子网络结构使其能从conv4生成三组尺度独立的特征图减少多尺度特征图之间的冗余度提高目标检测的精度但并非子网络的数量越多越好例如PAFEN-5的检测精度低于 PAFEN-3在 PAFEN-5中conv4(38*38)直接生成conv8_2(3*3)或conv9_2(1*1)由于两个子网络尺度之间跨度较大(38-3或38-1)在一定程度上会影响conv8_2(3*3)和conv9_2(1*1)两个尺度特征图的质量同时PAFEN-5用五个独立的子网络生成五个尺度的特征图特征图之间的独立性能为目标检测提供更丰富的选择但过于独立的特征会影响图像目标的定位因此PAFEN需要兼顾特征图的质量和特征图的多样性PAFEN使用convex空洞率策略获得了最高的检测精度事实上四种空洞率策略下PAFEN的检测精度均高于OAFEN在convex策略中上路和下路网络初始特征层使用较小空洞率能从conv4中获取更多的信息增强conv8_2和conv9_2两个尺度特征图的质量进而提高模型的检测精度
Faster-RCNN和SSD是经典目标检测算法的代表Faster-RCN侧重于目标检测精度而SSD侧重于目标检测速度实验1的结果也验证了这一观点MOSSD用MobileNet替换基础网络VGG-16来进一步提高SSD的检测速度对于本文的SGT-DET数据集MOSSD比SSD检测精度低3.5%精度下降的幅度还是比较大这也间接表明MobileNet作为小目标检测模型的基础网络还存在改进的空间FFSSD和DSSD是针对小目标检测任务提出改进模型:FFSSD通过引入conv5_3的信息;DSSD通过融合特征提取网络反卷积变化后的特征虽然FFSSD和DSSD在一定程度上提升了小目标检测的精度但却增加了计算量对于无人机远距离目标检测任务而言除了满足检测精度要求外图像的实时检测是另外一个重要的指标MPSSD在减少模型参数和计算量的前提下提升了对地面小目标的检测速度
4 结论
地面小目标检测任务具有重要的理论研究和实际应用价值在SSD检测模型框架内本文提出了一种并行附加特征提取网络PAFENPAFEN有效提升SSD对地面小目标检测精度和速度并经理论分析和仿真实验证明了PAFEN的有效性
对于基于SSD的地面小目标检测任务改进基础网络结构和default box生成策略同样能提升SSD模型的性能下一步的研究重点包括:(1)研究适合小目标特征提取的基础网络;(2)研究适合捕获小目标特征的default box生成策略 我们的服务类型
公开课程
人工智能、大数据、嵌入式
内训课程
普通内训、定制内训
项目咨询
技术路线设计、算法设计与实现图像处理、自然语言处理、语音识别
