临沂网站建设兼职,oa管理系统项目文档,西部数码创建php网站,网络游戏那个网站做的最好 CNN基本部件介绍#xff0c;1. 局部感受野在图像中局部像素之间的联系较为紧密#xff0c;而距离较远的像素联系相对较弱。因此#xff0c;其实每个神经元没必要对图像全局进行感知#xff0c;只需要感知局部信息#xff0c;然后在更高层局部信息综合起来即可得到全局信… CNN基本部件介绍1. 局部感受野在图像中局部像素之间的联系较为紧密而距离较远的像素联系相对较弱。因此其实每个神经元没必要对图像全局进行感知只需要感知局部信息然后在更高层局部信息综合起来即可得到全局信息。卷积操作即是局部感受野的实现并且卷积操作因为能够权值共享所以也减少了参数量。2. 池化池化是将输入图像进行缩小减少像素信息只保留重要信息主要是为了减少计算量。主要包括最大池化和均值池化。3. 激活函数激活函数的用是用来加入非线性。常见的激活函数有sigmod, tanh, relu前两者常用在全连接层relu常见于卷积层4. 全连接层全连接层在整个卷积神经网络中起分类器的作用。在全连接层之前需要将之前的输出展平 经典网络结构1. LeNet5由两个卷积层两个池化层两个全连接层组成。卷积核都是5×5stride1池化层使用maxpooling2. AlexNet模型共八层不算input层包含五个卷积层、三个全连接层。最后一层使用softmax做分类输出AlexNet使用了ReLU做激活函数防止过拟合使用dropout和数据增强双GPU实现使用LRN3. VGG全部使用3×3卷积核的堆叠来模拟更大的感受野并且网络层数更深。VGG有五段卷积每段卷积后接一层最大池化。卷积核数目逐渐增加。总结LRN作用不大越深的网络效果越好1×1的卷积也很有效但是没有3×3好4. GoogLeNet(inception v1)从VGG中我们了解到网络层数越深效果越好。但是随着模型越深参数越来越多这就导致网络比较容易过拟合需要提供更多的训练数据另外复杂的网络意味更多的计算量更大的模型存储需要更多的资源且速度不够快。GoogLeNet就是从减少参数的角度来设计网络结构的。GoogLeNet通过增加网络宽度的方式来增加网络复杂度让网络可以自己去应该如何选择卷积核。这种设计减少了参数 同时提高了网络对多种尺度的适应性。使用了1×1卷积可以使网络在不增加参数的情况下增加网络复杂度。Inception-v2在v1的基础上加入batch normalization技术在tensorflow中使用BN在激活函数之前效果更好将5×5卷积替换成两个连续的3×3卷积使网络更深参数更少Inception-v3核心思想是将卷积核分解成更小的卷积如将7×7分解成1×7和7×1两个卷积核使网络参数减少深度加深Inception-v4结构引入了ResNet使训练加速性能提升。但是当滤波器的数目过大1000时训练很不稳定可以加入activate scaling因子来缓解5. Xception在Inception-v3的基础上提出基本思想是通道分离式卷积但是又有区别。模型参数稍微减少但是精度更高。Xception先做1×1卷积再做3×3卷积即先将通道合并再进行空间卷积。depthwise正好相反先进行空间3×3卷积再进行通道1×1卷积。核心思想是遵循一个假设卷积的时候要将通道的卷积与空间的卷积进行分离。而MobileNet-v1用的就是depthwise的顺序并且加了BN和ReLU。Xception的参数量与Inception-v3相差不大其增加了网络宽度旨在提升网络准确率而MobileNet-v1旨在减少网络参数提高效率。6. MobileNet系列V1使用depthwise separable convolutions放弃pooling层而使用stride2的卷积。标准卷积的卷积核的通道数等于输入特征图的通道数而depthwise卷积核通道数是1还有两个参数可以控制a控制输入输出通道数p控制图像特征图分辨率。V2相比v1有三点不同1.引入了残差结构2.在dw之前先进行1×1卷积增加feature map通道数与一般的residual block是不同的3.pointwise结束之后弃用ReLU改为linear激活函数来防止ReLU对特征的破环。这样做是因为dw层提取的特征受限于输入的通道数若采用传统的residual block先压缩那dw可提取的特征就更少了因此一开始不压缩反而先扩张。但是当采用扩张-卷积-压缩时在压缩之后会碰到一个问题ReLU会破环特征而特征本来就已经被压缩再经过ReLU还会损失一部分特征应该采用linear。V3互补搜索技术组合由资源受限的NAS执行模块集搜索NetAdapt执行局部搜索网络结构改进将最后一步的平均池化层前移并移除最后一个卷积层引入h-swish激活函数修改了开始的滤波器组。V3综合了v1的深度可分离卷积v2的具有线性瓶颈的反残差结构SE结构的轻量级注意力模型。7. EffNetEffNet是对MobileNet-v1的改进主要思想是将MobileNet-1的dw层分解层两个3×1和1×3的dw层这样 第一层之后就采用pooling从而减少第二层的计算量。EffNet比MobileNet-v1和ShuffleNet-v1模型更小进度更高。8. EfficientNet研究网络设计时在depth, width, resolution上进行扩展的方式以及之间的相互关系。可以取得更高的效率和准确率。9. ResNetVGG证明更深的网络层数是提高精度的有效手段但是更深的网络极易导致梯度弥散从而导致网络无法收敛。经测试20层以上会随着层数增加收敛效果越来越差。ResNet可以很好的解决梯度消失的问题其实是缓解并不能真正解决ResNet增加了shortcut连边。10. ResNeXt基于ResNet和Inception的splittransformconcate结合。但效果却比ResNet、Inception、Inception-ResNet效果都要好。可以使用group convolution。一般来说增加网络表达能力的途径有三种1.增加网络深度如从AlexNet到ResNet但是实验结果表明由网络深度带来的提升越来越小2.增加网络模块的宽度但是宽度的增加必然带来指数级的参数规模提升也非主流CNN设计3.改善CNN网络结构设计如Inception系列和ResNeXt等。且实验发现增加Cardinatity即一个block中所具有的相同分支的数目可以更好的提升模型表达能力。11. DenseNetDenseNet通过特征重用来大幅减少网络的参数量又在一定程度上缓解了梯度消失问题。12. SqueezeNet提出了fire-modulesqueeze层expand层。Squeeze层就是1×1卷积expand层用1×1和3×3分别卷积然后concatenation。squeezeNet参数是alexnet的1/50经过压缩之后是1/510但是准确率和alexnet相当。13. ShuffleNet系列V1通过分组卷积与1×1的逐点群卷积核来降低计算量通过重组通道来丰富各个通道的信息。Xception和ResNeXt在小型网络模型中效率较低因为大量的1×1卷积很耗资源因此提出逐点群卷积来降低计算复杂度但是使用逐点群卷积会有副作用故在此基础上提出通道shuffle来帮助信息流通。虽然dw可以减少计算量和参数量但是在低功耗设备上与密集的操作相比计算、存储访问的效率更差故shufflenet上旨在bottleneck上使用深度卷积尽可能减少开销。V2 使神经网络更加高效的CNN网络结构设计准则输入通道数与输出通道数保持相等可以最小化内存访问成本分组卷积中使用过多的分组会增加内存访问成本网络结构太复杂分支和基本单元过多会降低网络的并行程度element-wise的操作消耗也不可忽略14. SENet15. SKNet
