百度推广网站吸引力,淘宝网站建设,公司招聘网站,沈阳创新网站建设报价目录 注意#xff1a;有参数计算的才叫层
1.应用
1.1分类和检索
1.2超分辨率重构 1.3医学任务
1.4无人驾驶
1.5人脸识别
2.卷积
2.1卷积神经网络和传统网络的区别
2.2整体框架
2.3理解卷积#xff08;重点#xff09; 2.4为何要进行多层卷积
2.5卷积核的参数
2.6…目录 注意有参数计算的才叫层
1.应用
1.1分类和检索
1.2超分辨率重构 1.3医学任务
1.4无人驾驶
1.5人脸识别
2.卷积
2.1卷积神经网络和传统网络的区别
2.2整体框架
2.3理解卷积重点 2.4为何要进行多层卷积
2.5卷积核的参数
2.6参数共享 2.7池化层
2.8整体结构
2.9VGG
2.10残差网络resnet 2.11感受野
参考文献 注意有参数计算的才叫层 1.应用 1.1分类和检索 分类简单理解为识别一张图片是狗还是猫。
检索已经识别出一张图片是个狗同时把是像狗是狗的图片都找出来。 1.2超分辨率重构 定义就是把一张不清晰的图片变成一张清晰的图片 1.3医学任务 细胞检测等 1.4无人驾驶 1.5人脸识别 2.卷积 2.1卷积神经网络和传统网络的区别 用下图简述下图左侧为全连接层的神经网络也是多层感知机的概念下图右侧是卷积神经网络。当输入一个28×28×1的图片时传统神经网络会将像素拉成一列作为输入而卷积神经网络则是按照28×28×1的三维特征作为输入。 2.2整体框架 以下图为例简述 输入层28×28×1像素的图片 卷积层提取特征 池化层压缩特征 全连接层得到10种分类的概率 2.3理解卷积重点 以下图为例简述首先我们看下图中间的红色框假设他是一张图片框中红色的圆圈是猫脸蓝色框圈起来的是眼和嘴假设这种图片32×32×3我们希望能有效提取特征不同的特征在不同的区域比方说眼和嘴巴在不同的区域猫和猫周围的环境也在不同的区域所以为了提高效率我们希望能按照区域提取特征或者说得到嘴和眼睛等的有效特征所以我们直接按照区域提取特征比方说用一个5×5×3的卷积在图片中去提取嘴和眼睛的特征区域的可以简单理解为下图左侧标记的123...等。 进一步我们用下图理解利用卷积时权重用在什么地方假设输入是5×5×1的图片蓝色区域卷积是3×3×1的核那么在第一个区域输入为x1权重为w1蓝色区域右下角的小标输出为12而12就代表该区域的特征如果该区域是猫的嘴巴那么12就属于嘴巴的特征。 用下图进一步理解卷积的过程首先我们要理解一个彩色图像在计算机中由RGB三张图组合在一起才显示为彩色假设输入为7×7×3卷积为3×3×3卷积核的值就是权重三层卷积核分别和RGB第一个区域相乘得到结果为R0G2B0也就是wx2再加上b输出为3对应下图右侧绿框第一个值。
注意这个输出为3×3×2这个2不是RGB通道数是彩图的个数。 用下图去理解上图从下图左侧看就是说分别对三层RGB进行计算最后输出归为一层。从下图由侧理解就是RGB合一重新变成彩图。 2.4为何要进行多层卷积 从下图简述卷积的本质是特征提取比方说如下图左所示我们进行三次特征提取第一次Low-Level得到的特征变成第二次Mid-Level的输入同理第三层High-Level的输入是第二层的输出。我们从下图右理解这个过程加上一张图32×32×3作为输入用6个大小为5×5×3的卷积核得到6个28×28×1的特征图其中每一个像素都是输入的RGB三个通道叠加而来所以这6个特征图理解为彩图表示为28×28×6将该新数据作为输入再用10个5×5×10的卷积核得到10个24×24×1的输出表示为24×24×10。 2.5卷积核的参数 滑动窗口的步长看下图不同的步长对应的结果不同从结果讲步长为1时我们得到的特征较多比较细腻但比较慢步长为2时我们得到的特征较少比较粗糙但比较快。
卷积核大小类似于滑动步长的效果。
边缘填充从下图右去理解我们可以看到红色框内是补充前的信息框中的边界点如第一个数1在计算时只能计算1次那么他只能对对应的结果3产生影响而红框中间的数因为参与多次相乘会对多个结果值产生影响这样就带来一个问题边界特征提取不充分有缺失所以在周围加一层数值0可以保证边界特征更有效的被提取。而且添加的数为0该值不会对结果产生影响。
卷积核个数取决于想得到多少特征图注意每一个卷积核的值都不同。 计算公式如下 2.6参数共享 用下图简述假设下图左为7×7×3的输入第一个区域我们会用一组卷积核去得到输出特征图第二个区域我们依然需要一组卷积核去得到输出特征如果每一个区域对应的卷积核不同计算量会非常大为了便于计算如下图右所示对输入input Volum区域用Filter W0 的3×3×3的卷积核进行卷积用相同的卷积核和输入的每一个区域想乘就是权值贡献。
从下图左我们看一下卷积参数和全连接参数的数量区别对于一个32×32×3的图像想得到10个特征全连接层需要32×32×3×1030720个参数而卷积只需要5×5×3×10750再加上10个偏置项也只需要760个这计算量差距太大了。 2.7池化层 从下图简述下图左可以看出经过多层卷积后得到的输出为224×224×64意思是得到64张特征图每张特征图上有224×224个特征可以发现数量太多不利于计算所以我们希望在不影响精度的前提下对它瘦身这就是池化层下图右就对每张特征图的长和宽进行了一半的瘦身。
最大池化层如下图右所示就是从64张特征图每张大小224×224按照2×2的方格区域选一个最大值出来结果上讲长宽各自除以2就是瘦身一半。
注意该池化层只做了选择没做计算。 2.8整体结构 从下图简述每一个卷积层由一个卷积核和非线性函数构成每一大层网络由两个 卷积层和一个池化层构成注意一下池化层之间的卷积层的输出结果经过池化层后变化不大。对于FC全连接层之前的操作都是进行特征提取但我们最终需要的是得到分类的概率结果我们假FC设全连接层之前的池化层这时得到的输出是32×32×10但全连接层无法与之相乘所以需要将32×32×10拉长成1×10240FC全连接层为10240×55代表5个类别的概率。 2.9VGG 从下图理解VGG下图A,B,C,D,E等为VGG的不同版本我们看D版本总共16层它的特点是每经过一个池化层长宽瘦一半但失去的特征会增加特征图的数量弥补回来如conv3-6464代表特征图数量经过池化层之后再过过一层卷积变成conv3-128特征图数量翻倍。其识别精确率远高于现代初代神经网络架构Alexnet。
问题按理说神经网络层数越多效果越好为什么VGG不往20层以上叠加因为实验发现16层的效果好于32层。
解决resnet 2.10残差网络resnet 从下图左简述resnet在VGG中我们发现当层数超过一定数量后越多反而效果越差分析原因发现是因为有些层得到的效果不好导致之后的效果越来越差。那么根据如何解决差的层提出了resnet.
resnet可以这样简单理解。比方说有A,B,C三层网络我们发现B层网络不好希望剔除但如果直接剔除C层就没了输出也就无法进行所以提出一个概念拉一条线直接绕过B层将好的结果传递给C层而B层则用权重为0的系数令其归零。
从从下图右进一步理解resnet看解决方案对应的图假设其是20层以后的网络这时我们进行了conv1和conv2两层卷积得到F(x)但我们担心这个结果不好所以再次引入一条线将x直接传到最后面的网络最终结果为F(x)x当进行梯度下降时发现F(x)的梯度上升则往上层反馈将上层卷积参数归零直接使用x作为输入。 2.11感受野 用下图左简述inpu为5×5×1First Conv为3×3×1Second Conv为1×1×1First Conv绿区的感受野就是对应的input的3×3的绿区而Second Conv红区对应的是上层红区3×3的感受野上上层全部区域5×5的感受野。 一般来说我们希望感受野越大越好因为越大看到的东西越多分辨的就越好。那么问题来了既然越大越好为什么长用3×3卷积核代替7×7卷积核。
理由从下图右的计算看3个3×3的卷积核感受野和一个7×7卷积核的感受野相同但参数却少了很多所以用3×3的卷积核代替7×7的卷积核。而且非线性函数也会减少很多特征提取也会更细致。因为核比较小。 参考文献 1.2-卷积的作用_哔哩哔哩_bilibili
