常州网站建设运营,wordpress 标签中文乱码,用数据库代码做家乡网站,茂名网站建设托管一、本周计划 确定论文题目#xff0c;重新思考能加的点子#xff0c;重点在网络架构部分。主要了解了注意力模块如SE、CBAM、CA#xff0c;在模型中插入注意力模块。读论文。
二、完成情况
2.1 论文题目 基于注意力的Unet盐体全波形反演 想法来源#xff1a;使用的是二维…一、本周计划 确定论文题目重新思考能加的点子重点在网络架构部分。主要了解了注意力模块如SE、CBAM、CA在模型中插入注意力模块。读论文。
二、完成情况
2.1 论文题目 基于注意力的Unet盐体全波形反演 想法来源使用的是二维盐体数据让网络更加关注于盐体部分在深度学习网络中引入注意力机制可以简化模型加速计算。
2.2 为什么要引入 Attention 机制 在深度卷积神经网络中通过构建一系列的卷积层、非线性层和下采样层使得网络能够从全局感受野上提取图像特征来描述图像但归根结底只是建模了图像的空间特征信息而没有建模通道之间的特征信息整个特征图的各区域均被平等对待。 然而这些信息对图像能否被正确识别的影响力是不同的如何让模型知道图像中不同局部信息的重要性呢——答案就是注意力机制。
2.3 注意力模块 Attention的核心思想是从关注全部到关注重点。Attention 机制很像人类看图片的逻辑当看一张图片的时候我们并没有看清图片的全部内容而是将注意力集中在了图片的焦点上。注意力机制主要有自注意力(self-attention)、软注意力soft-attention、硬注意力(hard-attention)。其已经广泛应用于分类、检测、分割等任务。 soft-Attention模块其分类主要有通道注意、空间注意。soft-Attention是参数化的因此可导可以被嵌入到模型中去直接训练。梯度可以经过Attention Mechanism模块反向传播到模型其他部分。与分类、回归训练原理完全一致
空间注意力模块 对特征图每个位置进行attention调整(x,y)二维调整使模型关注到值得更多关注的区域上。旨在提升关键区域的特征表达本质上是将原始图片中的空间信息通过空间转换模块变换到另一个空间中并保留关键信息为每个位置生成权重掩膜mask并加权输出从而增强感兴趣的特定目标区域同时弱化不相关的背景区域。通道注意力模块 旨在显示的建模出不同通道之间的相关性通过网络学习的方式来自动获取到每个特征通道的重要程度最后再为每个通道赋予不同的权重系数从而来强化重要的特征抑制非重要的特征。 许多软注意力模块都不会改变输出尺寸所以可以很灵活的插入到卷积网络的各个部分但会增加训练参数从而导致计算成本有所提高所以越来越多模块注重参数量和精度的平衡很多轻量型注意模块也随之提出。
2.3.1 挤压和激励注意力(Squeeze-and-Excitation attention, SE)
论文[1709.01507] Squeeze-and-Excitation Networks (arxiv.org) 受生物学习启发 作者提出了SE模块旨在通过使网络能够动态调整各通道的权重通道注意力从而重新校准特征来提高网络的表示能力。结构简单且效果显著通过特征重标定的方式来自适应地调整通道之间的特征响应。 SE模块通过引入一个Squeeze操作和一个Excitation操作来建模通道之间的关系。在Squeeze阶段它通过全局平均池化操作(Global Average Pooling, GAP)将卷积层的输出特征图压缩成一个特征向量。然后在Excitation阶段通过使用全连接层和非线性激活函数用Sigmoid激活函数实现特征重标定强化重要特征图弱化非重要特征图学习生成一个通道的权重向量。这个权重向量被应用于原始特征图上的每个通道以对不同通道的特征进行加权。 1. Squeeze操作全局信息嵌入
假设输入的特征图为X其尺寸为C×H×W其中C是通道数H和W分别是高度和宽度。在Squeeze操作中我们对特征图进行全局平均池化将其压缩成一个特征向量。这可以通过对每个通道的特征图进行平均操作来实现。将池化操作后的特征向量记为其中表示通道c的压缩特征。 为了缓解变换输出U的每个单元不能利用该区域之外上下文信息的问题通过使用全局平均池来生成通道统计信息来实现将全局空间信息压缩到信道描述符中。通过U的空间维度H×W收缩U来生成统计量从而z的第c个元素计算为 在SE模块中压缩操作是为了降低特征图的维度将其从C×H×W的三维形状转换为一个C维的特征向量。压缩操作有几个目的和好处
减少计算量较低维度的特征向量可以显著减少计算量。相比于对整个特征图的每个通道进行操作只需要对特征向量进行计算可以加速模型的训练和推理过程。降低参数量通过压缩特征图SE模块减少了全连接层的输入维度从而减少了需要学习的参数量。这有助于减小模型的复杂性降低过拟合的风险并提高模型的泛化能力。引入通道间关系通过对特征图进行全局平均池化操作SE模块将整个特征图的信息汇总到一个特征向量中。这样做有助于捕捉不同通道之间的关系和交互从而更好地建模通道之间的重要性。 2. Excitation操作
在Excitation操作中我们使用一个全连接层和非线性激活函数来学习每个通道的权重以捕捉通道之间的关系。假设全连接层的参数为和其中是一个较小的维度。首先将特征向量C输入到一个全连接层其中表示非线性激活函数ReLU。然后将全连接层的输出 输入到另一个全连接层其中表示非线性激活函数Sigmoid。 的物理意义是特征变换和特征提取。特征变换和特征提取将N个D维向量与D×D维权重矩阵相乘可以实现特征变换和特征提取。这种操作可以将输入特征通过线性组合映射到一个新的特征空间其中权重矩阵表示了特征之间的权重关系。这有助于网络学习输入数据中的重要特征并提取对任务有用的表示。 为什么应用sigmoid激活函数在某些情况下需要将神经网络输出限制在0到1之间。最终得到的输出表示每个通道的权重向量。
3. Scale操作
将学习到的权重向量应用于输入的特征图X上的每个通道。对于每个通道X将其对应的特征图与权重相乘得到加权后的特征图。最后将所有加权的特征图重新组合起来得到最终的输出特征图。
整个SE模块的过程可以表示为
其中 Pool 表示全局平均池化操作 ReLU 表示ReLU激活函数 sigmoid 表示sigmoid激活函数。这个公式可以自动反向传播以进行训练通过梯度下降法调整和的值以优化模型的性能。通过学习每个通道的权重SE模块能够自适应地调整特征图。
4. SE模块总结 SE模块可以被理解为一种自动学习特征权重和重要性的机制。在Squeeze阶段通过全局平均池化操作将输入特征进行压缩以捕捉全局的特征统计信息。在Excitation阶段通过一对全连接层和激活函数对压缩后的特征进行非线性映射和调整以学习特征之间的权重关系。这样SE模块能够自适应地选择和强调重要的特征提高特征的判别能力。 想法在压缩部分SE使用最简单的全局平均池化可以试试更复杂的方法进行改进以提高更多的性能。
2.3.2 卷积注意力模块(convolutional block attention module, CBAM)
论文[1807.06521] CBAM: Convolutional Block Attention Module (arxiv.org)
主要内容 给定中间特征图BAM按顺序推导出沿通道和空间两个独立维度的注意力图然后将注意图相乘到输入特征图进行自适应特征细化。 这个模块轻量级且通用CBAM可以无缝集成到任何CNN架构中开销可以忽略不计并且可以与基础CNN一起进行端到端训练。 在原有通道注意力的基础上衔接了一个空间注意力模块(Spatial Attention Modul, SAM)。SAM是基于通道进行全局平均池化以及全局最大池化操作产生两个代表不同信息的特征图合并后再通过一个感受野较大的7×7卷积进行特征融合最后再通过Sigmoid操作来生成权重图叠加回原始的输入特征图从而使得目标区域得以增强。
实验结论 作者最终通过实验验证先通道后空间的方式比先空间后通道或者通道空间并行的方式效果更佳。 CBAM依次推断出一个1D的通道注意图Mc尺寸为Cx1x1和一个2D的空间注意力图Ms尺寸为1xHxW。 其中 ⨂ 表示元素乘法F是最终的细化输出。 1. 通道注意力模块 通道注意力聚焦在“什么”是有意义的输入图像为了有效计算通道注意力需要对输入特征图的空间维度进行压缩对于空间信息的聚合常用的方法是平均池化。但有人认为最大池化收集了另一个重要线索——关于独特的物体特征可以推断更细的通道上的注意力。因此平均池化和最大池化的特征是同时使用的。 和分别表示平均池化特征和最大池化特征。 输入是一个 H×W×C 的特征 F先分别进行一个空间的全局平均池化和最大池化得到两个 1×1×C 的通道描述。接着再将它们分别送入一个共享网络共享网络由一个多层感知器(MLP)组成其中有一个隐含层。为减少参数开销隐藏层的激活大小设为R/Cr×1×1其中R为下降率。然后再将得到的两个特征相加后经过一个 Sigmoid 激活函数得到权重系数 Mc。最后拿权重系数和原来的特征 F 相乘即可得到缩放后的新特征F。 2. 空间注意力模块 空间注意力聚焦在“哪里”是最具有信息量的部分这是对通道注意力的补充。为了计算空间注意力沿着通道轴应用平均池化和最大池操作然后将它们连接起来生成一个有效的特征描述符。然后应用卷积层生成大小为R×H×W 的空间注意力图Ms(F)该空间注意图编码了需要关注或压制的位置。 具体来说使用两个池化操作聚合成一个feature map的通道信息生成两个2D图 大小为1×H×W大小为1×H×W。σ表示sigmoid函数f7×7表示一个滤波器大小为7×7的卷积运算。
输入H×W×C 的特征 F先分别进行一个通道维度的平均池化和最大池化得到两个1×H×W的通道描述并将这两个描述按照通道拼接在一起。然后经过一个 7×7 的卷积层激活函数为Sigmoid得到权重系数 Ms。最后拿权重系数和特征 F相乘即可得到缩放后的新特征。
import torch.nn as nn# 定义一个包含CBAM模块的卷积层
class CBAMBlock(nn.Module):def __init__(self, in_channels, reduction16):super(CBAMBlock, self).__init__()self.in_channels in_channelsself.reduction reduction# 通道注意力计算self.channel_attention nn.Sequential(nn.AdaptiveAvgPool2d(1),nn.Conv2d(in_channels, in_channels // reduction, kernel_size1, padding0),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels // reduction, in_channels, kernel_size1, padding0),nn.Sigmoid())# 空间注意力计算self.spatial_attention nn.Sequential(nn.Conv2d(in_channels, in_channels // reduction, kernel_size1, stride1),nn.BatchNorm2d(in_channels // reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels // reduction, in_channels // reduction, kernel_size3, stride1, padding1),nn.BatchNorm2d(in_channels // reduction),nn.ReLU(inplaceTrue),nn.Conv2d(in_channels // reduction, 1, kernel_size1, stride1),nn.Sigmoid())def forward(self, x):# 计算通道注意力系数channel_att self.channel_attention(x)out x * channel_att# 计算空间注意力系数spatial_att self.spatial_attention(out)out out * spatial_att return out2.3.3 坐标注意力(Coordinate Attention, CA)
论文[2103.02907] Coordinate Attention for Efficient Mobile Network Design (arxiv.org) 通道注意力例如SE注意力对于提升模型性能具有显著效果但它们通常会忽略位置信息而位置信息对于生成空间选择性attention maps是非常重要。因此在本文中作者通过将位置信息嵌入到通道注意力中提出了一种新颖的移动网络注意力机制将其称为“Coordinate Attention”。 CA通过精确的位置信息对通道关系和长程依赖进行编码使网络能够以较小的计算成本关注大的重要区域主要包括坐标信息嵌入和坐标注意力生成两个步骤。 与通过2维全局池化将特征张量转换为单个特征向量的通道注意力不同CA将通道注意力分解为两个1维特征编码过程分别沿2个空间方向聚合特征。这样可以沿一个空间方向捕获远程依赖关系同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的attention map可以将其互补地应用于输入特征图以增强关注对象的表示。
1. Coordinate信息嵌入 全局池化方法通常用于通道注意编码空间信息的全局编码但由于它将全局空间信息压缩到通道描述符中导致难以保存位置信息。为了促使注意力模块能够捕捉具有精确位置信息的远程空间交互本文按照以下公式分解了全局池化转化为一对一维特征编码操作 具体来说给定输入首先使用尺寸为(H,1)或(1,W)的pooling kernel分别沿着水平坐标和垂直坐标对每个通道进行编码。因此高度为的第通道的输出可以表示为 同样宽度为的第通道的输出可以写成 上述2种变换分别沿两个空间方向聚合特征得到一对方向感知的特征图。这与在通道注意力方法中产生单一的特征向量的SE Block非常不同。这2种转换也允许注意力模块捕捉到沿着一个空间方向的长期依赖关系并保存沿着另一个空间方向的精确位置信息这有助于网络更准确地定位感兴趣的目标。
2. Coordinate Attention生成 本文方法可以通过上述的变换可以很好的获得全局感受野并编码精确的位置信息。为了利用由此产生的表征作者提出了第2个转换称为Coordinate Attention生成。这里作者的设计主要参考了以下3个标准
首先对于Mobile环境中的应用来说新的转换应该尽可能地简单其次它可以充分利用捕获到的位置信息使感兴趣的区域能够被准确地捕获最后它还应该能够有效地捕捉通道间的关系。
通过信息嵌入中的变换后该部分将上面的变换进行concatenate操作然后使用卷积变换函数对其进行变换操作 式中为沿空间维数的concatenate操作为非线性激活函数为对空间信息在水平方向和垂直方向进行编码的中间特征映射。这里是用来控制SE block大小的缩减率。然后沿着空间维数将分解为2个单独的张量和。利用另外2个卷积变换和分别将和变换为具有相同通道数的张量到输入得到: 这里是sigmoid激活函数。为了降低模型的复杂性和计算开销这里通常使用适当的缩减比(如32)来减少的通道数。然后对输出和进行扩展分别作为attention weights。
最后Coordinate Attention Block的输出可以写成: 2.4 论文 未完下周继续
标题U-MixFormer: UNet-like Transformer with Mix-Attention for Efficient Semantic Segmentation U-MixFormer具有混合注意力的类UNet变换器用于有效的语义分割背景全卷积网络FCN的引入普及了编码器-解码器结构其中编码器提取高级语义解码器将它们与空间细节相结合。但传统的CNNs很难捕捉到长期的上下文。这一限制促使人们对基于视觉变换器的分割方法产生了兴趣。主要思想作者提出了一种新的Transformer解码器U-MixFormer它基于U-Net结构用于高效的语义分割。除了传统的对跳跃连接的依赖之外该方法通过利用编码器和解码器阶段之间的横向连接作为注意力模块的特征查询来区别于以前的转换器方法。此外作者还创新地将来自不同编码器和解码器阶段的层次特征图混合形成一个统一的表示形式用于Key和Value从而产生作者独特的_mix-attention_模块。 传统上U-Net架构以其对称的基于CNN的编码器-解码器结构为特征一直是语义分割的首选。这源于U-Net具有 有效捕捉和传播层次特征的特性。此外它的横向连接起着重要作用促进了编码器和解码器之间多级特征的流动。我们假设利用U-Net架构的这些固有优势可以有效地细化特征然后可以将其分层集成到转换器-解码器阶段。 论文提出了一种新型的UNet-like变换解码器U-MixFormer。U-MixFormer基于U-Net的基本原理在其专用的混合注意力模块中自适应地将多阶段特征作为关键和值进行集成。该模块确保了特征的逐渐传播并在解码器阶段连续地重新混合它们有效地管理这些阶段之间的依赖关系以捕获上下文并细化边界。这可以像传统的细胞神经网络一样强调层次特征表示并增强Transformers的全局上下文理解能力。据我们所知这是第一项将U-Net的固有优势与视觉转换器的变革能力协同起来的工作特别是通过一个新颖的注意力模块有效地协调语义分割的查询、键和值。
2.4.1 主要贡献总结如下
1. 基于U-Net的新型解码器结构 基于U-Net的新型解码器架构我们提出了一种新的强大的转换器解码器架构该架构以U-Net为动力用于高效的语义分割。利用U-Net在捕获和传播分层特征方面的熟练程度我们的设计独特地使用Transformer编码器的横向连接作为查询特征。这种方法确保了高级语义和低级结构的和谐融合。
2. 优化特征合成增强上下文理解 为了提高我们的类UNet转换器架构的效率我们将多个编码器和解码器输出作为键和值的集成特征进行混合和更新从而产生了我们提出的混合注意力机制。这种方法不仅为每个解码器阶段提供了丰富的特征表示而且还增强了上下文理解。
3. 兼容不同的编码器 我们演示了U-MixFormer与基于变压器(MiT和LVT)和基于CNN (MSCAN)编码器的现有流行编码器的兼容性。
4. 基准测试经验 如图1所示UMixFormer在计算成本和语义分割方法的准确性方面达到了最先进的水平。它始终优于轻量级、中等重量甚至重型编码器。ADE20K和Cityscapes数据集证明了这一优势在具有挑战性的Cityscape-C数据集上表现显著。
2.4.2 相关工作
编码器架构
SETR是第一个采用ViT作为语义分割编码器的架构。因为ViT只将输入图像划分为块所以SETR产生单比例编码器特征。PVT和Swin-Transformer在编码器级之间重复地将特征图分组为新的非重叠补丁从而分层生成多尺度编码器特征。这两种方法还通过减少键和值的空间维度PVT或将具有移位窗口的补丁分组Swin-Transformer来提高自注意模块的效率。SegFormer重用PVT的效率策略同时去除位置编码并将特征图嵌入到重叠的补丁中。与前面提到的方法相反SegNeXt和LVT的编码器采用了卷积注意力机制。
解码器架构
DETR是第一种部署用于语义分割的Transformer解码器的方法。随后的工作Strudel等人2021Cheng、Schwing和Kirillov 2021Cheg等人2022适应了DETR但也依赖于对象可学习查询这在计算上是昂贵的尤其是当与多尺度编码器特征相结合时。相比之下FeedFormer直接利用编码器阶段的特征作为特征查询从而提高了效率。FeedFormer解码高级编码器特征用作查询的特征和最低级别编码器特征用于键和值的特征。然而这种设置单独处理特征图而没有特征图在解码器级之间的增量传播从而错过了进行更多增量细化以改进对象边界检测的机会。此外其他最近的基于MLP或CNN的解码器Xie等人2021郭等人2022也缺乏解码器特征的增量传播。
UNet-like Transformer
人们已经尝试将UNet架构从基于卷积神经网络CNN的框架转变为基于Transformer的框架。TransUNet是首次成功将Transformer引入医学图像分割的方法它使用ViT与他们的CNN编码器相结合。Swin-UNet这是第一个完全基于Transformer的UNet类似架构。该设计具有用于编码器和解码器的重型Swin Transformer阶段保留了它们之间的横向连接作为跳接连接。与Swin-UNet相比我们采用轻量级解码器阶段使其适合更广泛的下游任务。此外我们将横向连接解释为 Query 特征而不是跳接连接并融入了一种独特的注意力机制。
2.4.3 模型结构 图2U-MixFormer架构编码器左从输入图像中提取多分辨率特征图。U-MixFormer解码器右通过使用我们的混合注意力机制将横向编码器输出作为Xq与先前解码器级输出融合到Xkv中。最后来自所有解码器级的特征图被级联并且MLP预测输出。 一般来说我们的解码器由多个阶段i∈{1…N}因为有编码器阶段。为了清晰起见图2提供了该体系结构的可视化概述并举例说明了一个四阶段(N 4)分层编码器如MiT、LVT或MSCAN。 首先编码器处理输入H×W×3channel的图像。四个阶段i∈{1… 4}生成分层、多分辨率特征Ei 其次我们的解码器阶段依次生成精细的特征D4-i1通过执行混合注意其中的特征用于查询Xq i 等于各自的横向编码器特征图。键和值的特性Xkv i 由编码器和解码器阶段混合给出。值得注意的是我们的解码器反映了编码器级输出的尺寸。 第三使用双线性插值对解码器特征进行上采样以匹配D1的高度和宽度。 最后对拼接后的特征进行MLP处理以H/4 ×W/4 × 3预测分割图。
2.4.4 Mix-Attention混合注意力
Transformer 块中使用的注意力模块计算查询Q键K和值V的缩放点积注意力如下所示 其中dk为键的嵌入维数Q、K、V由所选特征的线性投影得到。我们方法的核心是选择要投射到键和值上的特征这导致了我们提出的混合注意机制。传统的自注意力、交叉注意和新型混合注意之间的比较从左到右如图3所示。 2.4.5 总结 在本文中我们提出了U-MixFormer建立在为语义分割而设计的U-Net结构之上。UMixFormer开始与最上下文编码器的特征图并逐步纳入更精细的细节建立在U-Net的能力以捕获和传播分层特征。我们的混合注意设计强调合并特征图的组件将它们与越来越细粒度的横向编码器特征对齐。这确保了高级上下文信息与复杂的低级细节的和谐融合这是精确分割的关键。我们在流行的基准数据集上展示了我们的U-MixFormer在不同编码器上的优势。
展望 U-Net的固有结构它需要通过横向(或残余)连接来保存信息。虽然这些连接对于捕获分层特征至关重要但在推理阶段会带来开销。为了解决这一限制我们的目标是在未来的工作中探索模型压缩技术如修剪和知识蒸馏。这些方法有望在保留UMixFormer的准确性优势的同时潜在地提高推理速度。
三、下周计划
继续论文准备实操敲代码
