域名注册网站排行,个人网站制作工具箱安卓版,现货行情分析软件app,ui培训课程一、目标检测任务对比 二、目标检测发展路线 基于深度学习的目标检测大致可以分为一阶段(One Stage)模型和二阶段(Two Stage)模型。目标检测的一阶段模型是指没有独立地提取候选区域(Region Proposal)#xff0c;直接输入图像得到图中存在的物体类别和相应的位置信息。典型的一…一、目标检测任务对比 二、目标检测发展路线 基于深度学习的目标检测大致可以分为一阶段(One Stage)模型和二阶段(Two Stage)模型。目标检测的一阶段模型是指没有独立地提取候选区域(Region Proposal)直接输入图像得到图中存在的物体类别和相应的位置信息。典型的一阶段模型有SSD(Single Shot multibox-Detector)[4]、YOLO(You Only Look Once)[5]系列模型等。二阶段模型是有独立地候选区域选取要先对输入图像筛选出可能存在物体的候选区域然后判断候选区域中是否存在目标如果存在输出目标类别和位置信息。经典的二阶段模型有R-CNN[3]、Fast R-CNN[6]、Faster R-CNN[7]。
两阶段的检测算法精度会比一阶段检测算法高而检测速度确不如一阶段的检测算法二阶段检测算法适合对精度要求高的业务一阶段检测算法适合对实时性要求高的业务。 One-Stage检测算法示意图 Two-Stage检测算法示意图 1. 传统目标检测算法
不同于现在的卷积神经网络可以自动提取高效特征进行图像表示以往的传统目标检测算法主要基于手工提取特征。传统检测算法流程可概括如下
选取感兴趣区域选取可能包含物体的区域对可能包含物体的区域进行特征提取对提取的特征进行检测分类
Viola Jones Detector滑动窗口的方式以检查目标为了提升速度采用 1)特征的快速计算方法-积分图2)有效的分类器学习方法-AdaBoost3)高效的分类策略-级联结构的设计HOG Detector 是基于本地像素块进行特征直方图提取的一种算法通过在均匀间隔单元的密集网格上计算重叠的局部对比度归一化来提高检测准确性。它在目标局部变形和受光照影响下都有很好的稳定性。成功改进了尺度特征不变性(Scale Invariant Feature Transform)和形状上下文(Shape Contexts)DPM Detector由一个主过滤器(Root-filter)和多个辅过滤器(Part-filters)组成通过硬负挖掘(Hard negative mining)边框回归(Bounding box regression)和上下文启动(Context priming)技术改进检测精度。优点是运算速度快能够适应物体形变但它无法适应大幅度的旋转因此稳定性差。SIFT
2. Anchor-Based中的Two-stage目标检测 先由算法生成一系列作为样本的候选框再通过卷积神经网络进行样本分类
二阶段检测算法主要分为以下两个阶段Stage1从图像中生成region proposalsStage2从region proposals生成最终的物体边框。
2.1 R-CNN
Rich feature hierarchies for accurate object detection and semantic segmentation
大致流程RCNN首先通过选择性搜索算法Selective Search从一组对象候选框中选择可能出现的对象框然后将这些选择出来的对象框中的图像resize到某一固定尺寸的图像并喂入到CNN模型(经过在ImageNet数据集上训练过的CNN模型如AlexNet)提取特征最后将提取出的特征送入到SVMSVMSVM分类器来预测该对象框中的图像是否存在待检测目标并进一步预测该检测目标具体属于哪一类。
两大贡献1CNN可用于基于区域的定位和分割物体2监督训练样本数紧缺时在额外的数据上预训练的模型经过fine-tuning可以取得很好的效果。第一个贡献影响了之后几乎所有2-stage方法而第二个贡献中用分类任务Imagenet中训练好的模型作为基网络在检测问题上fine-tuning的做法也在之后的工作中一直沿用。 R-CNN将检测抽象为两个过程一是基于图片提出若干可能包含物体的区域即图片的局部裁剪被称为Region Proposal文中使用的是Selective Search算法二是在提出的这些区域上运行当时表现最好的分类网络AlexNet得到每个区域内物体的类别。RCNN重点的两个做法
数据的准备。输入CNN前我们需要根据Ground Truth对提出的Region Proposal进行标记这里使用的指标是IoUIntersection over Union交并比。IoU计算了两个区域之交的面积跟它们之并的比描述了两个区域的重合程度。文章中特别提到IoU阈值的选择对结果影响显著这里要谈两个threshold一个用来识别正样本如跟ground truth的IoU大于0.5另一个用来标记负样本即背景类如IoU小于0.1而介于两者之间的则为难例Hard Negatives若标为正类则包含了过多的背景信息反之又包含了要检测物体的特征因而这些Proposal便被忽略掉。另一点是位置坐标的回归Bounding-Box Regression这一过程是Region Proposal向Ground Truth调整实现时加入了log/exp变换来使损失保持在合理的量级上可以看做一种标准化Normalization)操作
【性能】 RCNN算法在VOC-07数据集上取得了非常显著的效果平均精度由33.7%(DPM-V5, 传统检测的SOTA算法)提升到58.5%。相比于传统检测算法基于深度学习的检测算法在精度上取得了质的飞跃。
【不足】 虽然RCNN算法取得了很大进展但缺点也很明显重叠框(一张图片大2000多个候选框)特征的冗余计算使得整个网络的检测速度变得很慢(使用GPU的情况下检测一张图片大约需要14S)。
为了减少大量重叠框带来的冗余计算K. He等人提出了SPPNet。 2.2 SPPNet
SPPNet 提出了一种空间金字塔池化层(Spatial Pyramid Pooling Layer, SPP)。它的主要思路是对于一副图像分成若干尺度的图像块(比如一副图像分成1份4份8份等)然后对每一块提取的特征融合在一起从而兼顾多个尺度的特征。SPP使得网络在全连接层之前能生成固定尺度的特征表示而不管输入图片尺寸如何。当使用SPPNet网络用于目标检测时整个图像只需计算一次即可生成相应特征图不管候选框尺寸如何经过SPP之后都能生成固定尺寸的特征表示图这避免了卷积特征图的重复计算。 【性能】 相比于RCNN算法SPPNet在Pascal-07数据集上不牺牲检测精度(VOC-07, mAP59.2%)的情况下推理速度提高了20多倍。
【不足】 和RCNN一样SPP也需要训练CNN提取特征然后训练SVM分类这些特征这需要巨大的存储空间并且多阶段训练的流程也很繁杂。除此之外SPPNet只对全连接层进行微调而忽略了网络其它层的参数。
为了解决以上存在的一些不足2015年R. Girshick等人提出Fast RCNN 2.3 Fast RCNN 共享卷积运算
Fast RCNN网络是RCNN和SPPNet的改进版该网路使得我们可以在相同的网络配置下同时训练一个检测器和边框回归器。该网络首先输入图像图像被传递到CNN中提取特征并返回ROIRegion of Interset实为坐标组可与Region Proposal混用之后再ROI上运用ROI池化层以保证每个区域的尺寸相同最后这些区域的特征被传递到全连接层的网络中进行分类并用Softmax和线性回归层同时返回边界框。 文章指出R-CNN耗时的原因是CNN是在每一个Proposal上单独进行的没有共享计算便提出将基础网络在图片整体上运行完毕后再传入R-CNN子网络共享了大部分计算 RoI Pooling图示 RoI Pooling 是对输入R-CNN子网络的数据进行准备的关键操作。我们得到的区域常常有不同的大小在映射到feature map上之后会得到不同大小的特征张量。RoI Pooling先将RoI等分成目标个数的网格再在每个网格上进行max pooling就得到等长的RoI feature vector。
【性能】 Fast RCNN在VOC-07数据集上将检测精度mAP从58.5%提高到70.0%检测速度比RCNN提高了200倍。
【不足】 Fast RCNN仍然选用选择性搜索算法来寻找感兴趣的区域这一过程通常较慢与RCNN不同的是Fast RCNN处理一张图片大约需要2秒但是在大型真实数据集上这种速度仍然不够理想。
那么问题来了: “我们可以使用CNN模型来直接生成候选框吗”基于此Faster RCNN的提出完美回答这一问题。 2.4 Faster RCNN
Faster RCNN 是第一个端到端最接近于实时性能的深度学习检测算法该网络的主要创新点就是提出了区域选择网络用于生成候选框能几大提升检测框的生成速度。该网络首先输入图像到卷积网络中生成该图像的特征映射。在特征映射上应用Region Proposal NetworkRPN取代Selective Search算法返回object proposals和相应分数。应用Rol池化层将所有proposals修正到同样尺寸。最后将proposals传递到完全连接层生成目标物体的边界框。 本文的主要贡献是提出Regional Proposal Networks替代之前的SS算法。RPN网络将Proposal这一任务建模为二分类是否为物体的问题。
第一步是在一个滑动窗口上生成不同大小和长宽比例的anchor box如上图右边部分取定IoU的阈值按Ground Truth标定这些anchor box的正负。于是传入RPN网络的样本数据被整理为anchor box坐标和每个anchor box是否有物体二分类标签。RPN网络将每个样本映射为一个概率值和四个坐标值概率值反应这个anchor box有物体的概率四个坐标值用于回归定义物体的位置。最后将二分类和坐标回归的损失统一起来作为RPN网络的目标训练。
由RPN得到Region Proposal在根据概率值筛选后经过类似的标记过程被传入R-CNN子网络进行多分类和坐标回归同样用多任务损失将二者的损失联合。
【性能】 该网络在当时VOC-07VOC-12和COCO数据集上实现了SOTA精度其中COCO mAP.542.7%, COCO mAP[.5,.95]21.9%, VOC07 mAP73.2%, VOC12 mAP70.4%, 17fps with ZFNet
【不足】 虽然Faster RCNN的精度更高速度更快也非常接近于实时性能但它在后续的检测阶段中仍存在一些计算冗余除此之外如果IOU阈值设置的低会引起噪声检测的问题如果IOU设置的高则会引起过拟合。 2.5 FPN
2017年T.-Y.Lin等人在Faster RCNN的基础上进一步提出了特征金字塔网络FPN(Feature Pyramid Networks)技术。在FPN技术出现之前大多数检测算法的检测头都位于网络的最顶层(最深层)虽说最深层的特征具备更丰富的语义信息更有利于物体分类但更深层的特征图由于空间信息的缺乏不利于物体定位这大大影响了目标检测的定位精度。为了解决这一矛盾FPN提出了一种具有横向连接的自上而下的网络架构用于在所有具有不同尺度的高底层都构筑出高级语义信息。FPN的提出极大促进了检测网络精度的提高(尤其是对于一些待检测物体尺度变化大的数据集有非常明显的效果)。 【性能】 将FPN技术应用于Faster RCNN网络之后网络的检测精度得到了巨大提高(COCO mAP.559.1%, COCO mAP[.5,.95]36.2%)再次成为当前的SOTA检测算法。此后FPN成为了各大网络(分类检测与分割)提高精度最重要的技术之一。
2.6 Cascade RCNN
Faster RCNN完成了对目标候选框的两次预测其中RPN一次后面的检测器一次而Cascade RCNN则更进一步将后面检测器部分堆叠了几个级联模块并采用不同的IOU阈值训练这种级联版的Faster RCNN就是Cascade RCNN。通过提升IoU阈值训练级联检测器可以使得检测器的定位精度更高在更为严格的IoU阈值评估下Cascade R-CNN带来的性能提升更为明显。Cascade RCNN将二阶段目标检测算法的精度提升到了新的高度。 【性能】 Cascade RCNN在COCO检测数据集上不添加任何Trick即可超过现有的SOTA单阶段检测器此外使用任何基于RCNN的二阶段检测器来构建Cascade RCNNmAP平均可以提高2-4个百分点。 3. Anchor-based中的one-stage目标检测算法
一阶段目标检测算法不需要region proposal阶段候选区域的筛选网路直接产生物体的类别概率和位置坐标值经过一个阶段即可直接得到最终的检测结果因此有着更快的检测速度。
YOLOSSD
3.1 YOLO v1
YOLO v1 是第一个一阶段的深度学习检测算法其检测速度非常快该算法的思想就是将图像划分成多个网格然后为每一个网格同时预测边界框并给出相应概率。例如某个待检测目标的中心落在图像中所划分的一个单元格内那么该单元格负责预测该目标位置和类别。 bbox包含物体的概率confidence计算
计算公式 confidence
网络生成的bbox框和GT标注bbox计算IOU值两个框的重叠率。单元框内不包含物体时 包含物体 所以
因此把输入图像划分为的网格后网络输出的张量尺寸为。其中指的是检测框的位置信息和包含物体的概率
损失函数 Loss Function
损失函数包含三个部分2.1 中心点、宽、高物体边框的回归2.2 置信度置信度的损失计算关于置信度的回归2.3 物体的类别标签关于类别的预测 【性能】 YOLO v1检测速度非常快在VOC-07数据集上的mAP可达52.7%实现了155 fps的实时性能其增强版性能也很好(VOC-07 mAP63.4%, 45 fps, VOC-12 mAP57.9%)性能要优于DPM和RCNN。
【不足】 相比于二阶段的目标检测算法尽管YOLO v1算法的检测速度有了很大提高但精度相对教低(尤其是对于一些小目标检测问题)。 3.2 SSD
SSD算法的主要创新点是提出了Multi-reference和Multi-resolution的检测技术。SSD算法和先前的一些检测算法的区别在于先前的一些检测算法只是在网络最深层的分支进行检测而SSD有多个不同的检测分支不同的检测分支可以检测多个尺度的目标所以SSD在多尺度目标检测的精度上有了很大的提高对小目标检测效果要好很多。 SSD相比YOLO有以下突出的特点
多尺度的feature map基于VGG的不同卷积段输出feature map到回归器中。这一点试图提升小物体的检测精度。更多的anchor box每个网格点生成不同大小和长宽比例的box并将类别预测概率基于box预测YOLO是在网格上得到的输出值个数为(C4)×k×m×n其中C为类别数k为box个数m×n为feature map的大小。 Anchor-based目标检测算法局限性
基于Anchor的目标检测算法主要有以下四大缺点
Anchor的大小数量长宽比对于检测性能的影响很大(通过改变这些超参数Retinanet在COCO benchmark上面提升了4%的AP)因此Anchor based的检测性能对于anchor的大小、数量和长宽比都非常敏感。这些固定的Anchor极大地损害了检测器的普适性导致对于不同任务其Anchor都必须重新设置大小和长宽比。为了去匹配真实框需要生成大量的Anchor但是大部分的Anchor在训练时标记为负样本所以就造成了样本极度不均衡问题(没有充分利用fore-ground)。在训练中网络需要计算所有Anchor与真实框的IOU这样就会消耗大量内存和时间。 4. Anchor-Free中的目标检测算法
基于Anchor的物体检测问题通常被建模成对一些候选区域进行分类和回归的问题在一阶段检测器中这些候选区域就是通过滑窗方式产生Anchor box而在二阶段检测器中候选区域是RPN生成的Proposal但是RPN本身仍然是对滑窗方式产生的Anchor进行分类和回归。基于Anchor的检测算法由于Anchor太多导致计算复杂及其所带来的大量超参数都会影响模型性能。近年的Anchor free技术则摒弃Anchor通过确定关键点的方式来完成检测大大减少了网络超参数的数量。
CornerNet提出了一种新的对象检测方法将网络对目标边界框的检测转化为一对关键点的检测(即左上角和右下角)通过将对象检测为成对的关键点而无需设计Anchor box作为先验框。CenterNet级联角池化模块和中心池化模块FSAF提出了一种FSAF模块用于训练特征金字塔中的Anchor free分支让每一个对象都自动选择最合适的特征。在该模块中Anchor box的大小不再决定选择哪些特征进行预测使得Anchor的尺寸成为了一种无关变量实现了模型自动化学习选择特征。FCOS基于FCN的逐像素目标检测算法实现了无锚点(Anchor free)无提议(Proposal free)的解决方案并且提出了中心度Center ness的思想SAPD认为Anchor point的方法性能不高主要还是在于训练的不充分主要是注意力偏差和特征选择。因而作者提出了两种策略1)Soft-weighted anchor points对不同位置的样本进行权重分配 2)Soft-selected pyramid levels将样本分配到多个分辨率并进行权重加权。而在训练阶段作者前6个epoch采用FSAF的方式而后6个epoch会将特征选择的预测网络加入进行联合训练。 后处理方法
NMS非极大值抑制难分负样本挖掘(Hard Negative Mining, HNM)
1. NMS非极大值抑制
目标检测的过程中在同一目标的位置上会产生大量的候选框这些候选框相互之间可能会有重叠此时我们需要利用非极大值抑制找到最佳的目标边界框消除冗余的边界框。非极大值抑制算法的流程如下
根据置信度得分进行排序选择置信度最高的比边界框添加到最终输出列表中将其从边界框列表中删除计算所有边界框的面积计算置信度最高的边界框与其它候选框的IoU。删除IoU大于阈值的边界框重复上述过程直至边界框列表为空。
非极大值抑制算法逐渐发展成为以下三条路线
Greedy selectionBounding box aggregationLearning to NMS
2. 难分负样本挖掘(Hard Negative Mining, HNM)
目标检测的训练过程本质上还是一个样本数据不平衡的学习过程因为检测算法中需要用到很多检测框而真正包含目标的检测框占比却极少。在网络训练过程中大量简单的负样本(背景)会主导学习方向而不利于网络往正确的方向加以优化因此这需要采取一定的策略来解决这一问题。难分负样本挖掘(Hard Negative Mining, HNM)技术正是解决训练过程中的数据不平衡问题的一项关键技术。
难分负样本挖掘技术的演变主要经历了以下过程
BootstrapHNM in deep learning based detectors 目标检测数据集
PASCAL VOC数据集MS COCO数据集ILSVRCOIDOpen Images
1. PASCAL VOC数据集
PASCAL VOC包含约10,000张带有边界框的图片用于训练和验证。PASCAL VOC数据集是目标检测问题的一个基准数据集很多模型都是在此数据集上得到的常用的是VOC2007和VOC2012两个版本数据共20个类别分别是
人: 人动物: 鸟猫牛狗马羊交通工具: 飞机自行车船公共汽车汽车摩托车火车室内: 瓶子椅子餐桌盆栽沙发电视/显示器
整个数据的目录结构如下 JPEGImages存放图片文件Annotations下存放的是xml文件,描述了图片信息如下图所示需要关注的就是节点下的数据,尤其是bndbox下的数据.xmin,ymin构成了boundingbox的左上角,xmax,ymax构成了boundingbox的右下角也就是图像中的目标位置信息 ImageSets包含以下4个文件夹
Action下存放的是人的动作例如running、jumping等等Layout下存放的是具有人体部位的数据人的head、hand、feet等等Segmentation下存放的是可用于分割的数据。Main下存放的是图像物体识别的数据总共分为20类这是进行目标检测的重点。该文件夹中的数据对负样本文件进行了描述。 2. MS COCO数据集
Microsoft Common Objects in Context
COCO数据集是一个大型的、丰富的物体检测分割和字幕数据集。这个数据集以场景理解为目标主要从复杂的日常场景中截取图像中的目标通过精确的分割进行位置的标定。图像包括91类目标328,000影像和2,500,000个label。目前为止目标检测的最大数据集提供的类别有80 类有超过33 万张图片其中20 万张有标注整个数据集中个体的数目超过150 万个。 coco数据集的标签文件标记了每个segmentationbounding box的精确坐标其精度均为小数点后两位一个目标的标签示意如下
{segmentation:[[392.87, 275.77, 402.24, 284.2, 382.54, 342.36, 375.99, 356.43, 372.23, 357.37, 372.23, 397.7, 383.48, 419.27,407.87, 439.91, 427.57, 389.25, 447.26, 346.11, 447.26, 328.29, 468.84, 290.77,472.59, 266.38], [429.44,465.23, 453.83, 473.67, 636.73, 474.61, 636.73, 392.07, 571.07, 364.88, 546.69,363.0]], area: 28458.996150000003, iscrowd: 0,image_id: 503837, bbox: [372.23, 266.38, 264.5,208.23], category_id: 4, id: 151109}, 评价指标
目标检测常用的评价指标有交并比准确率精度召回率FPRF1-ScorePR曲线-AP值ROC曲线-AUC值和mAP值和FPS。
IoUintersection over union交并比mAPMean Average PrecisionFrame Per Second(FPS)模型一秒钟能检测图片的数量 References
CVHub | 万字长文带你入门目标检测 - 掘金
干货 | 目标检测入门看这篇就够了已更完 - 知乎
目标检测最新进展总结与展望 - 知乎
