天猫网站建设的意义,做ppt的网站有哪些,seo中介平台,成都私人做公司网站的#x1f4a1;#x1f4a1;#x1f4a1;本文改进内容#xff1a;本文针对Pixel-wise regression的任务#xff0c;提出了一种更加精细的双重注意力机制——极化自注意力#xff08;Polarized Self-Attention#xff09;#xff0c;效果优于CBAM、SE等经典注意力。
yolo… 本文改进内容本文针对Pixel-wise regression的任务提出了一种更加精细的双重注意力机制——极化自注意力Polarized Self-Attention效果优于CBAM、SE等经典注意力。
yolov9-c-CoordAtt summary: 972 layers, 51024476 parameters, 51024444 gradients, 238.9 GFLOPs 改进结构图如下 YOLOv9魔术师专栏
☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️ ☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️
包含注意力机制魔改、卷积魔改、检测头创新、损失IOU优化、block优化多层特征融合、 轻量级网络设计、24年最新顶会改进思路、原创自研paper级创新等
☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️☁️
✨✨✨ 新开专栏暂定免费限时开放后续每月调价一次✨✨✨ 本项目持续更新 | 更新完结保底≥50 冲刺100 联系WX: AI_CV_0624 欢迎交流 YOLOv9魔改注意力机制、检测头、blcok魔改、自研原创等 YOLOv9魔术师
全网独家首发创新原创适合paper 2024年计算机视觉顶会创新点适用于Yolov5、Yolov7、Yolov8等各个Yolo系列专栏文章提供每一步步骤和源码轻松带你上手魔改网络
重点通过本专栏的阅读后续你也可以设计魔改网络在网络不同位置Backbone、head、detect、loss等进行魔改实现创新 1.YOLOv9原理介绍
论文 2402.13616.pdf (arxiv.org)
代码GitHub - WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information摘要 如今的深度学习方法重点关注如何设计最合适的目标函数从而使得模型的预测结果能够最接近真实情况。同时必须设计一个适当的架构可以帮助获取足够的信息进行预测。然而现有方法忽略了一个事实即当输入数据经过逐层特征提取和空间变换时大量信息将会丢失。因此YOLOv9 深入研究了数据通过深度网络传输时数据丢失的重要问题即信息瓶颈和可逆函数。作者提出了可编程梯度信息programmable gradient informationPGI的概念来应对深度网络实现多个目标所需要的各种变化。PGI 可以为目标任务计算目标函数提供完整的输入信息从而获得可靠的梯度信息来更新网络权值。此外研究者基于梯度路径规划设计了一种新的轻量级网络架构即通用高效层聚合网络Generalized Efficient Layer Aggregation NetworkGELAN。该架构证实了 PGI 可以在轻量级模型上取得优异的结果。研究者在基于 MS COCO 数据集的目标检测任务上验证所提出的 GELAN 和 PGI。结果表明与其他 SOTA 方法相比GELAN 仅使用传统卷积算子即可实现更好的参数利用率。对于 PGI 而言它的适用性很强可用于从轻型到大型的各种模型。我们可以用它来获取完整的信息从而使从头开始训练的模型能够比使用大型数据集预训练的 SOTA 模型获得更好的结果。对比结果如图1所示。
YOLOv9框架图 1.1 YOLOv9框架介绍
YOLOv9各个模型介绍
2. Polarized Self-Attention 论文https://export.arxiv.org/pdf/2107.00782.pdf Polarized self-attention是一种改进的自注意力机制旨在提高自注意力模型的效率和准确性。传统的自注意力机制通常需要计算所有位置对所有位置的注意力这会导致计算复杂度的增加和模型的训练时间的延长。Polarized self-attention通过引入极化因子来减少需要计算的位置对之间的注意力从而提高自注意力模型的效率。极化因子是一个向量可以将其与每个位置的向量点积以确定哪些位置需要进行注意力计算。这种方法可以通过在保持准确度的同时减少计算量来提高自注意力模型的效率。 基于双重注意力机制本文针对Pixel-wise regression的任务提出了一种更加精细的双重注意力机制——极化自注意力Polarized Self-Attention。作为一个即插即用的模块在人体姿态估计和语义分割任务上作者将它用在了以前的SOTA模型上并达到了新的SOTA性能霸榜COCO人体姿态估计和Cityscapes语义分割。
注意力机制是一个被广泛应用在各种CV任务中的方法。注意力机制根据施加的维度大致可以分为两类通道注意力和空间注意力。对于通道注意力机制代表性的工作有SENet、ECANet对于空间注意力机制代表性的工作有Self-Attention。随着空间和通道注意力机制的提出很自然的结合空间和通道两个维度的双重注意力机制也被提出代表工作有CBAMDANet。 作者提出了一个即插即用的模块——极化自注意力机制 Polarized Self-Attention(PSA)用于解决像素级的回归任务相比于其他注意力机制极化自注意力机制主要有两个设计上的亮点
1极化滤波 Polarized filtering在通道和空间维度保持比较高的resolution在通道上保持C/2的维度在空间上保持[H,W]的维度 这一步能够减少降维度造成的信息损失
2增强Enhancement组合非线性直接拟合典型细粒度回归的输出分布。 3.Polarized Self-Attention加入到YOLOv9
3.1新建py文件路径为models/attention/attention.py ###################### PolarizedSelfAttention #### start by AICV ###############################
from torch import nn
from torch.nn import initclass PolarizedSelfAttention(nn.Module):def __init__(self,c1, channel512):super().__init__()self.ch_wv nn.Conv2d(channel, channel // 2, kernel_size(1, 1))self.ch_wq nn.Conv2d(channel, 1, kernel_size(1, 1))self.softmax_channel nn.Softmax(1)self.softmax_spatial nn.Softmax(-1)self.ch_wz nn.Conv2d(channel // 2, channel, kernel_size(1, 1))self.ln nn.LayerNorm(channel)self.sigmoid nn.Sigmoid()self.sp_wv nn.Conv2d(channel, channel // 2, kernel_size(1, 1))self.sp_wq nn.Conv2d(channel, channel // 2, kernel_size(1, 1))self.agp nn.AdaptiveAvgPool2d((1, 1))def forward(self, x):b, c, h, w x.size()# Channel-only Self-Attentionchannel_wv self.ch_wv(x) # bs,c//2,h,wchannel_wq self.ch_wq(x) # bs,1,h,wchannel_wv channel_wv.reshape(b, c // 2, -1) # bs,c//2,h*wchannel_wq channel_wq.reshape(b, -1, 1) # bs,h*w,1channel_wq self.softmax_channel(channel_wq)channel_wz torch.matmul(channel_wv, channel_wq).unsqueeze(-1) # bs,c//2,1,1channel_weight self.sigmoid(self.ln(self.ch_wz(channel_wz).reshape(b, c, 1).permute(0, 2, 1))).permute(0, 2,1).reshape(b, c, 1, 1) # bs,c,1,1channel_out channel_weight * x# Spatial-only Self-Attentionspatial_wv self.sp_wv(x) # bs,c//2,h,wspatial_wq self.sp_wq(x) # bs,c//2,h,wspatial_wq self.agp(spatial_wq) # bs,c//2,1,1spatial_wv spatial_wv.reshape(b, c // 2, -1) # bs,c//2,h*wspatial_wq spatial_wq.permute(0, 2, 3, 1).reshape(b, 1, c // 2) # bs,1,c//2spatial_wq self.softmax_spatial(spatial_wq)spatial_wz torch.matmul(spatial_wq, spatial_wv) # bs,1,h*wspatial_weight self.sigmoid(spatial_wz.reshape(b, 1, h, w)) # bs,1,h,wspatial_out spatial_weight * xout spatial_out channel_outreturn out###################### PolarizedSelfAttention #### end by AICV ############################### 3.2修改yolo.py
1)首先进行引用 from models.attention.attention import * 2修改def parse_model(d, ch): # model_dict, input_channels(3)
在源码基础上加入PolarizedSelfAttention elif m is nn.BatchNorm2d:args [ch[f]]###attention #####elif m in {EMA_attention,CoordAtt,PolarizedSelfAttention}:c2 ch[f]args [c2, *args]###attention ##### 3.3 yolov9-c-PolarizedSelfAttention.yaml # YOLOv9# parameters
nc: 80 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
#activation: nn.LeakyReLU(0.1)
#activation: nn.ReLU()# anchors
anchors: 3# YOLOv9 backbone
backbone:[[-1, 1, Silence, []], # conv down[-1, 1, Conv, [64, 3, 2]], # 1-P1/2# conv down[-1, 1, Conv, [128, 3, 2]], # 2-P2/4# elan-1 block[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]], # 3# avg-conv down[-1, 1, ADown, [256]], # 4-P3/8# elan-2 block[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]], # 5# avg-conv down[-1, 1, ADown, [512]], # 6-P4/16# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 7# avg-conv down[-1, 1, ADown, [512]], # 8-P5/32# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 9[-1, 1, PolarizedSelfAttention, [512]], # 10]# YOLOv9 head
head:[# elan-spp block[-1, 1, SPPELAN, [512, 256]], # 11# up-concat merge[-1, 1, nn.Upsample, [None, 2, nearest]],[[-1, 7], 1, Concat, [1]], # cat backbone P4# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 14# up-concat merge[-1, 1, nn.Upsample, [None, 2, nearest]],[[-1, 5], 1, Concat, [1]], # cat backbone P3# elan-2 block[-1, 1, RepNCSPELAN4, [256, 256, 128, 1]], # 17 (P3/8-small)# avg-conv-down merge[-1, 1, ADown, [256]],[[-1, 14], 1, Concat, [1]], # cat head P4# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 20 (P4/16-medium)# avg-conv-down merge[-1, 1, ADown, [512]],[[-1, 11], 1, Concat, [1]], # cat head P5# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 23 (P5/32-large)# multi-level reversible auxiliary branch# routing[5, 1, CBLinear, [[256]]], # 24[7, 1, CBLinear, [[256, 512]]], # 25[9, 1, CBLinear, [[256, 512, 512]]], # 26# conv down[0, 1, Conv, [64, 3, 2]], # 27-P1/2# conv down[-1, 1, Conv, [128, 3, 2]], # 28-P2/4# elan-1 block[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]], # 29# avg-conv down fuse[-1, 1, ADown, [256]], # 30-P3/8[[24, 25, 26, -1], 1, CBFuse, [[0, 0, 0]]], # 31 # elan-2 block[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]], # 32# avg-conv down fuse[-1, 1, ADown, [512]], # 33-P4/16[[25, 26, -1], 1, CBFuse, [[1, 1]]], # 34 # elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 35# avg-conv down fuse[-1, 1, ADown, [512]], # 36-P5/32[[26, -1], 1, CBFuse, [[2]]], # 37# elan-2 block[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 38# detection head# detect[[32, 35, 38, 17, 20, 23], 1, DualDDetect, [nc]], # DualDDetect(A3, A4, A5, P3, P4, P5)]
