静态网站建设规划,有没有装修做团购的网站,廊坊做网站多少钱,百度云服务器搭建网站步骤第二十六周#xff1a;学习笔记 摘要Abstract全卷积网络 FCN1. CNN 与 FCN2. 全连接层 -- 成卷积层3. FCN的缺点 摘要
全卷积神经网络#xff08;Fully Convolutional Network#xff0c;FCN#xff09;是一种用于图像分割和语义分割任务的深度学习模型。与传统的卷积… 第二十六周学习笔记 摘要Abstract全卷积网络 FCN1. CNN 与 FCN2. 全连接层 -- 成卷积层3. FCN的缺点 摘要
全卷积神经网络Fully Convolutional NetworkFCN是一种用于图像分割和语义分割任务的深度学习模型。与传统的卷积神经网络Convolutional Neural NetworksCNN不同FCN中的全卷积层Fully Convolutional Layer可以接受任意大小的输入并输出相应大小的特征图而不仅仅是对固定大小的输入进行分类。FCN通常由卷积层和转置卷积层组成以实现特征提取和上采样。通过使用转置卷积层FCN可以将低分辨率的特征图上采样到原始输入图像的大小并在每个像素位置产生对应的预测结果。在图像分割任务中FCN可以将图像中的每个像素分配一个标签从而实现像素级别的图像分割。它在许多计算机视觉领域中都有广泛应用如语义分割、实例分割和场景理解等。本文将详细介绍FCN。
Abstract
Fully Convolutional Neural Network (FCN) is a deep learning model for image segmentation and semantic segmentation tasks. Unlike traditional Convolutional Neural Networks (CNNs), the Fully Convolutional Layer in FCN can accept inputs of arbitrary size and output feature maps of the corresponding size, rather than just classifying fixed-size inputs.FCNs usually consist of a convolutional layer and a transpositional convolutional layer for feature extraction and up-conversion. layer and a transposed convolutional layer for feature extraction and upsampling. By using transposed convolutional layers, FCNs can upsample low-resolution feature maps to the size of the original input image and produce corresponding predictions at each pixel location. In image segmentation tasks, FCN can assign a label to each pixel in the image to achieve pixel-level image segmentation. It is widely used in many computer vision fields such as semantic segmentation, instance segmentation and scene understanding. In this paper, we will introduce FCN in detail.
全卷积网络 FCN
1. CNN 与 FCN
通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务因为它们最后都期望得到整个输入图像的一个数值描述概率比如AlexNet的ImageNet模型输出一个1000维的向量表示输入图像属于每一类的概率(softmax归一化)。
栗子下图中的猫, 输入AlexNet, 得到一个长为1000的输出向量, 表示输入图像属于每一类的概率, 其中在“tabby cat”这一类统计概率最高。 FCN对图像进行像素级的分类从而解决了语义级别的图像分割semantic segmentation问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类全联接层softmax输出不同FCN可以接受任意尺寸的输入图像采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。
最后逐个像素计算softmax分类的损失, 相当于每一个像素对应一个训练样本。下图是Longjon用于语义分割所采用的全卷积网络(FCN)的结构示意图 简单的来说FCN与CNN的区域在把于CNN最后的全连接层换成卷积层输出的是一张已经Label好的图片。 其实CNN的强大之处在于它的多层结构能自动学习特征并且可以学习到多个层次的特征较浅的卷积层感知域较小学习到一些局部区域的特征较深的卷积层具有较大的感知域能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低从而有助于识别性能的提高。下图CNN分类网络的示意图 这些抽象的特征对分类很有帮助可以很好地判断出一幅图像中包含什么类别的物体但是因为丢失了一些物体的细节不能很好地给出物体的具体轮廓、指出每个像素具体属于哪个物体因此做到精确的分割就很有难度。
传统的基于CNN的分割方法为了对一个像素分类使用该像素周围的一个图像块作为CNN的输入用于训练和预测。这种方法有几个缺点一是存储开销很大。例如对每个像素使用的图像块的大小为15x15然后不断滑动窗口每次滑动的窗口给CNN进行判别分类因此则所需的存储空间根据滑动窗口的次数和大小急剧上升。二是计算效率低下。相邻的像素块基本上是重复的针对每个像素块逐个计算卷积这种计算也有很大程度上的重复。三是像素块大小的限制了感知区域的大小。通常像素块的大小比整幅图像的大小小很多只能提取一些局部的特征从而导致分类的性能受到限制。
而全卷积网络(FCN)则是从抽象的特征中恢复出每个像素所属的类别。即从图像级别的分类进一步延伸到像素级别的分类。
2. 全连接层 -- 成卷积层
全连接层和卷积层之间唯一的不同就是卷积层中的神经元只与输入数据中的一个局部区域连接并且在卷积列中的神经元共享参数。然而在两类层中神经元都是计算点积所以它们的函数形式是一样的。因此将此两者相互转化是可能的
对于任一个卷积层都存在一个能实现和它一样的前向传播函数的全连接层。权重矩阵是一个巨大的矩阵除了某些特定块其余部分都是零。而在其中大部分块中元素都是相等的。相反任何全连接层都可以被转化为卷积层。比如一个 K4096 的全连接层输入数据体的尺寸是 7∗7∗512这个全连接层可以被等效地看做一个 F7,P0,S1,K4096 的卷积层。换句话说就是将滤波器的尺寸设置为和输入数据体的尺寸一致了。因为只有一个单独的深度列覆盖并滑过输入数据体所以输出将变成 1∗1∗4096这个结果就和使用初始的那个全连接层一样了。
全连接层转化为卷积层在两种变换中将全连接层转化为卷积层在实际运用中更加有用。假设一个卷积神经网络的输入是 224x224x3 的图像一系列的卷积层和下采样层将图像数据变为尺寸为 7x7x512 的激活数据体。AlexNet使用了两个尺寸为4096的全连接层最后一个有1000个神经元的全连接层用于计算分类评分。我们可以将这3个全连接层中的任意一个转化为卷积层
针对第一个连接区域是[7x7x512]的全连接层令其滤波器尺寸为F7这样输出数据体就为[1x1x4096]了。针对第二个全连接层令其滤波器尺寸为F1这样输出数据体为[1x1x4096]。对最后一个全连接层也做类似的令其F1最终输出为[1x1x1000] 实际操作中每次这样的变换都需要把全连接层的权重W重塑成卷积层的滤波器。那么这样的转化有什么作用呢它在下面的情况下可以更高效让卷积网络在一张更大的输入图片上滑动得到多个输出这样的转化可以让我们在单个向前传播的过程中完成上述的操作。
举个例子如果我们想让224×224尺寸的浮窗以步长为32在384×384的图片上滑动把每个经停的位置都带入卷积网络最后得到6×6个位置的类别得分。上述的把全连接层转换成卷积层的做法会更简便。如果224×224的输入图片经过卷积层和下采样层之后得到了[7x7x512]的数组那么384×384的大图片直接经过同样的卷积层和下采样层之后会得到[12x12x512]的数组。然后再经过上面由3个全连接层转化得到的3个卷积层最终得到[6x6x1000]的输出((12 – 7)/1 1 6)。这个结果正是浮窗在原图经停的6×6个位置的得分
如下图所示FCN将传统CNN中的全连接层转化成卷积层对应CNN网络FCN把最后三层全连接层转换成为三层卷积层。在传统的CNN结构中前5层是卷积层第6层和第7层分别是一个长度为4096的一维向量第8层是长度为1000的一维向量分别对应1000个不同类别的概率。FCN将这3层表示为卷积层卷积核的大小 (通道数宽高) 分别为 (4096,1,1)、(4096,1,1)、(1000,1,1)。看上去数字上并没有什么差别但是卷积跟全连接是不一样的概念和计算过程使用的是之前CNN已经训练好的权值和偏置但是不一样的在于权值和偏置是有自己的范围属于自己的一个卷积核。因此FCN网络中所有的层都是卷积层故称为全卷积网络。 下图是一个全卷积层与上图不一样的是图像对应的大小下标CNN中输入的图像大小是同意固定resize成 227x227 大小的图像第一层pooling后为55x55第二层pooling后图像大小为27x27第五层pooling后的图像大小为1313。而FCN输入的图像是HW大小第一层pooling后变为原图大小的1/4第二层变为原图大小的1/8第五层变为原图大小的1/16第八层变为原图大小的1/32勘误其实真正代码当中第一层是1/2以此类推。 经过多次卷积和pooling以后得到的图像越来越小分辨率越来越低。其中图像到 H/32∗W/32 的时候图片是最小的一层时所产生图叫做heatmap热图热图就是我们最重要的高维特诊图得到高维特征的heatmap之后就是最重要的一步也是最后的一步对原图像进行upsampling把图像进行放大、放大、放大到原图像的大小。 最后的输出是1000张heatmap经过upsampling变为原图大小的图片为了对每个像素进行分类预测label成最后已经进行语义分割的图像这里有一个小trick就是最后通过逐个像素地求其在1000张图像该像素位置的最大数值描述概率作为该像素的分类。因此产生了一张已经分类好的图片如下图右侧有狗狗和猫猫的图。 相较于使用被转化前的原始卷积神经网络对所有36个位置进行迭代计算使用转化后的卷积神经网络进行一次前向传播计算要高效得多因为36次计算都在共享计算资源。这一技巧在实践中经常使用一次来获得更好的结果。比如通常将一张图像尺寸变得更大然后使用变换后的卷积神经网络来对空间上很多不同位置进行评价得到分类评分然后在求这些分值的平均值。
最后如果我们想用步长小于32的浮窗怎么办用多次的向前传播就可以解决。比如我们想用步长为16的浮窗。那么先使用原图在转化后的卷积网络执行向前传播然后分别沿宽度沿高度最后同时沿宽度和高度把原始图片分别平移16个像素然后把这些平移之后的图分别带入卷积网络。
如下图所示当图片在网络中经过处理后变成越小的图片其特征也越明显就像图像中颜色所示当然啦最后一层的图片不再是一个1个像素的图片而是原图像 H/32xW/32 大小的图这里为了简化而画成一个像素而已。 如下图所示对原图像进行卷积conv1、pool1后原图像缩小为1/2之后对图像进行第二次conv2、pool2后图像缩小为1/4接着继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8此时保留pool3的featureMap接着继续对图像进行第四次卷积操作conv4、pool4缩小为原图像的1/16保留pool4的featureMap最后对图像进行第五次卷积操作conv5、pool5缩小为原图像的1/32然后把原来CNN操作中的全连接变成卷积操作conv6、conv7图像的featureMap数量改变但是图像大小依然为原图的1/32此时图像不再叫featureMap而是叫heatMap。
现在我们有1/32尺寸的heatMap1/16尺寸的featureMap和1/8尺寸的featureMap1/32尺寸的heatMap进行upsampling操作之后因为这样的操作还原的图片仅仅是conv5中的卷积核中的特征限于精度问题不能够很好地还原图像当中的特征因此在这里向前迭代。把conv4中的卷积核对上一次upsampling之后的图进行反卷积补充细节相当于一个差值过程最后把conv3中的卷积核对刚才upsampling之后的图像进行再次反卷积补充细节最后就完成了整个图像的还原。 3. FCN的缺点
在这里我们要注意的是FCN的缺点
是得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多但是上采样的结果还是比较模糊和平滑对图像中的细节不敏感。是对各个像素进行分类没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整spatial regularization步骤缺乏空间一致性。
