天津单位网站建设,怎么制作属于自己的网址,做U启的网站,懂得都懂晚上正能量摘要 提出了TPH-YOLOv5。在YOLOv5的基础上#xff0c;增加了一个预测头来检测不同尺度的目标。然后用Transformer Prediction Heads#xff08;TPH#xff09;代替原有的预测头#xff0c;探索自注意机制的预测潜力。还集成了卷积块注意力模型#xff08;CBAM#xff09;…摘要 提出了TPH-YOLOv5。在YOLOv5的基础上增加了一个预测头来检测不同尺度的目标。然后用Transformer Prediction HeadsTPH代替原有的预测头探索自注意机制的预测潜力。还集成了卷积块注意力模型CBAM用来发现密集对象场景中的注意力区域。为了实现所提出的TPH-YOLOv 5的更多改进提供了一些有用的策略如数据增强多尺度测试多模型集成和使用额外的分类器。设计了跨层非对称TransformerCA-Trans来代替额外的预测头同时保持该预测头的知识。该算法通过引入稀疏局部注意SLA模型有效地捕获了附加头与其他头之间的非对称信息丰富了其他头的特征。 为了进一步提高TPH-YOLOv5的性能在训练过程中采用了数据增强这促进了对图像中对象的剧烈尺寸变化的适应性。在推理过程中加入了多尺度测试和多模型集成策略使检测结果更有说服力。此外通过可视化的故障情况下提出的架构有很好的本地化能力但具有较差分类能力特别是在一些类似的类别如“三轮车”和“遮阳篷三轮车”。为了解决这个问题提供了一个自我训练的分类器ResNet18使用从训练数据中裁剪的图像块作为分类训练集。
创新点 ·增加了一个预测头来处理对象的大规模方差。 ·将Transformer Prediction HeadsTPH集成到YOLOv5中可以在高密度场景中准确定位对象。 ·将CBAM集成到YOLOv5中它可以帮助网络在具有大区域覆盖的图像中找到感兴趣的区域。 ·使用自训练的分类器提高了对易混淆类别的分类能力。
TPH-YOLOv5
1Overview of YOLOv5 YOLOv5有四种不同的型号包括YOLOv5sYOLOv5mYOLOv5l和YOLOv5x。一般来说YOLOv5分别使用CSPDarknet 53的架构其中SPP层作为主干PANet作为Neck和YOLO检测头。为了进一步优化整个体系结构提供了最著名和最方便的一级探测器选择它作为基线。 当使用VisDrone2021数据集使用数据增强策略Mosaic和MixUp训练模型时发现YOLOv5x的结果远远优于YOLOv5sYOLOv5m和YOLOv5lAP值的差距差距超过1.5%。尽管YOLOv5x模型的训练计算成本比其他三种模型都要高但仍然选择使用YOLOv5x来追求最佳的检测性能。此外根据无人机拍摄图像的特点调整常用的光度失真和几何失真参数。
2TPH-YOLOv5 TPH-YOLOv5的框架如图3所示。对原始YOLOv5进行了修改使其专门用于VisDrone2021数据集。 Prediction head for tiny objects 预测微小物体的头。增加了一个预测头用于微小物体检测。与其他三种预测头相结合四头结构可以缓解剧烈的对象尺度变化带来的负面影响。如图3所示添加的预测头头1号是从低级别、高分辨率的特征图中生成的对微小物体更敏感。增加一个额外的检测头后虽然计算量和内存开销增加但微小目标检测的性能得到了很大的提高。
Transformer encoder block Transformer编码器块。用Transformer编码器块替换了原始版本YOLOv5中的一些卷积块和CSP瓶颈块。其结构如图4所示。与CSPDarknet53中的原始瓶颈块相比Transformer编码器块可以捕获全局信息和丰富的上下文信息。每个Transformer编码器包含两个子层。第一子层是多头注意层第二子层MLP是全连接层。在每个子层之间使用剩余连接。Transformer编码器块提高了捕获不同本地信息的能力。它还可以利用自我注意机制探索特征表征潜力。 基于YOLOv5只在头部分应用Transformer编码器块形成Transformer Prediction HeadTPH和主干的末端。因为网络末端的要素地图分辨率较低。在低分辨率特征地图上应用TPH可以减少昂贵的计算和存储开销。此外当扩大输入图像的分辨率有选择地删除一些TPH块在早期层使训练过程可用。
Convolutional block attention module (CBAM) 卷积块注意模块CBAM。CBAM是一个简单但有效的注意模块。它是一个轻量级的模块可以集成到大多数著名的CNN架构中并且可以以端到端的方式进行训练。CBAM在给定特征图的情况下沿着通道和空间两个独立的维度顺序地推断注意力图然后将注意力图与输入特征图相乘以执行自适应特征细化。CBAM模块的结构如图5所示。 在无人机捕获的图像上大面积的覆盖区域往往包含着易混淆的地理要素。利用CBAM提取注意区域帮助TPH-YOLOv5抵抗混淆信息将注意力集中到有用的目标对象上。
Ms-testing and model ensemble Ms检验和模型集成。本文从模型集成的不同角度训练了五种不同的模型。在推理阶段首先对单个模型执行ms-检验策略。ms-testing的实现细节有以下三步。 1)将测试图像缩放至1.3倍。 2)分别将图像缩小1倍、0.83倍和0.67倍。 3)水平翻转图像。 最后将6幅不同尺度的图像输入到TPH-YOLOv5中并利用NMS对预测结果进行融合。在不同的模型上执行相同的ms检验操作并通过WBF融合最后的五个预测以获得最终结果。
Self-trained classifier 自我训练的分类器。使用TPH-YOLOv5对VisDrone 2021数据集进行训练后对test-dev数据集进行测试并通过可视化故障案例对测试结果进行分析得出TPH-YOLOv5具有较好的定位能力但分类能力较差的结论。进一步研究了混淆矩阵并观察到一些硬类别如三轮车和遮阳三轮车的精度很低。因此提出了一个额外的自训练分类器。首先构建了TPH-YOLOv5并使用TPH-YOLOv5对VisDrone 2021数据集进行了训练然后对test-dev数据集进行了测试通过可视化失败案例对测试结果进行了分析得出了TPH-YOLOv 5具有良好的定位能力但分类能力较差的结论。
