网站建设的应对措施,数据中心托管,双鸭山市建设局网站,石家庄正定新区建设局网站工程Gitee地址#xff1a; https://gitee.com/zhong-liangtang/ncnn-android-yolox-nano
一、YOLOX简介
YOLOX是一个在2021年被旷视科技公司提出的高性能且无锚框#xff08;Anchor-free#xff09;的检测器#xff0c;在YOLO系列的基础上吸收近年来目标检测学术界的最新…工程Gitee地址 https://gitee.com/zhong-liangtang/ncnn-android-yolox-nano
一、YOLOX简介
YOLOX是一个在2021年被旷视科技公司提出的高性能且无锚框Anchor-free的检测器在YOLO系列的基础上吸收近年来目标检测学术界的最新成果如解耦头Decoupled Head、数据增强、无锚框、标签分配策略SimOTASimplified Optimal Transport Assignment等等。同时YOLOX继承了YOLO系列容易部署的特点提供了支持ONNX、TensorRT、ncnn和Openvino的部署版本。
二、YOLOX网络结构
YOLOX的网络有多种版本本文介绍YOLOX-Nano的网络结构它由四个部分构成分别为输入端、用于特征提取的主干网络Backbone、用于特征融合的颈部网络Neck以及预测Prediction。YOLOX-Nano模型网络结构图如下所示。
输入端采取了Mosaic和Mixup两种数据增强方法在输入图片时将图片的高和宽统一进行等比例转换。 主干网络使用CSPDarknet网络进行特征提取CSPDarknet网络利用52层卷积神经网络进行特征提取1层利用1×1卷积作为全连接层共计53层卷积神经网络。在特征提取时会把在特征提取过程中三部分不同尺度的特征信息直接和下一部分的颈部网络相连接。 颈部网络使用FPN结构进行特征融合在该部分已经在主干网络获得的特征会结合不同尺度的特征信息来进一步进行特征提取使模型的性能以及小目标的检测能力得到提升。 在预测部分在该部分使用解耦头、无锚框、标签分配策略SimOTA等先进技术最后将所有的特征信息统一转换成二维矩阵[16]。
三、 YOLOX主要改进部分
1、解耦头 为解决分类和回归冲突问题[8]YOLOX提出了解耦头这一解决方案。YOLO系列所采用的耦合头Coupled Head把分类和回归任务都放在一个1×1卷积里实现它首先通过一个1×1卷积把前面的特征图的通道数统一进行调整再经过2个3×3卷积层来提取特征最后利用一个1×1卷积层分别到分类和回归检测头同时在回归分支还增加了IoU分支解耦头工作流程图如图所示。在使用了解耦头之后训练时收敛速度和准确率都有所提高并且解耦头对端到端版本的YOLO会提高一定的准确率这些都体现了解耦头的训练和预测价值。 2、数据增强 YOLOX采用了Mosaic和MixUp数据增强方法。 MixUp数据增强方法是通过线性插值的方式混合两个样本和标签扩大了训练数据同时提升了模型的泛化能力。 Mosaic数据增强方法是在训练期间将四张图进行裁剪、拼接成一张新图大幅度扩充了图片数据避免因训练集背景相似而降低模型的泛化能力。 然而轻量化模型YOLOX-Nano如果同时使用这两种数据增强的方法在COCO数据集上的AP反而会降低但在不使用MixUp数据增强方法的同时削弱Mosaic数据增强方法的使用AP反而有所上升。 3、无锚框 YOLOX是一个基于无锚框的检测器而之前的YOLO系列都是基于锚框Anchor-based的检测器但基于锚框的检测器存在较多的问题。首先锚框大小的选择是采用聚类分析的方法在训练之前可以得到比较好的锚框但是这些聚类的锚框没有一定的通用性在预测新的图片时效果不佳。其次锚框机制增加了检测头的复杂度并且对每张图片增加了预测的数量因此也增加了预测的时间[20]。由于不使用锚框进行预测与使用锚框相比在COCO数据集上的AP基本相同因此使用无锚框策略对于YOLOX检测器的预测速度和准确率都有所提升。 4、标签分配策略SimOTA SimOTA是OTA的简化版本OTA是解决候选框分配问题一般在分配正负样本时是根据ground-truth的IoU与Anchor进行分配但是正负样本的分配需要优先考虑全局[21]。所以我们通常把候选框分配问题当成一个线性规划中的优化传输问题Optimal TransportOT来处理其原理是建立一个代价矩阵如果有M个ground-truth以及与其对应的N个候选框即M×N为代价矩阵, 矩阵中的每个元素就是该ground-truth与候选框的Loss值Loss值越大则说明选取这对ground-truth和候选框的代价越大优化传输的目的是选取ground-truth与候选框相匹配使总体代价最小。 5、YOLOX-Nano模型 轻量化模型YOLOX-Nano是所有YOLOX模型中参数量最小的模型其参数量Parameters为0.9M浮点运算数FLOPs为1.08G而它比参数量相当的NanoDet模型在COCO数据集上的AP高1.8%比YOLOv4-Tiny模型的AP高10%[8]。更为重要的是轻量化模型YOLOX-Nano可以被部署到移动端或其他嵌入式设备上说明它有一定的工业价值在应对实时检测的同时也能与设备的其他功能进行配合共同完成工作。
四、试验环境与模型训练
模型训练的GPU为NVIDIA GeForce RTX 3070 Laptop GPU 8GB在基于安装Anaconda 4.10.3和CUDA 11.1的Windows 10操作系统下进行训练采用cuDNN 8.0深度学习库处理器为AMD Ryzen 7 5800H with Radeon Graphics计算机内存为16G使用开源深度学习框架Pytorch作为开发环境。 模型训练方式及模型评价指标 本文利用采集的数据集训练轻量化模型YOLOX-Nano使用YOLOX官方提供的代码进行训练训练时不启动优先使用显存和混合精度训练data_num_workers设置为0batch size设置为16以YOLOX官方提供的YOLOX-Nano模型文件作为预训练权重文件训练300代在训练时前285代每10代记录一次训练信息后15代每代记录一次训练信息其他训练参数默认。作为对比food-101的披萨数据集也采用以上所述方式进行训练。 为了评价YOLOX-Nano模型对菜品的检测效果对样本进行测试后计算AP50、AP50_95AP50和AP50_95是MS COCO比赛的map计算方式其中AP指的是准确率(Precision)和召回率(Recall)为X,Y轴作图围成的面积50指的是IoU设置为0.5时的AP值50_95 指的是IoU设置为 0.5~0.95以0.05为步长计算AP的平均值以及total_loss来对模型进行评价。 五、结果与分析 训练结果与分析 在完全相同的训练条件下无论是采集的数据集还是food-101的披萨数据集总损失值都有一定的降低模型在采集的数据集和food-101的披萨数据集上的AP50在训练300代之后分别为99.4%和90.8%AP50_95分别为71.9%和79.8%。从训练的效果可以看出无论是采集的数据集还是food-101的披萨数据集AP50和AP50_95在训练第10代之后都达到了较高值这也说明了YOLOX采用解耦头之后收敛速度快的特点。
