自己做网站挂广告怎么赚钱,佛山移动网站建设公司,linux上安装wordpress,wordpress钻石插件文章转载自订阅号「夕小瑶的卖萌屋」中的文章《不要再纠结卷积的公式啦#xff01;0公式深度解析全连接前馈网络与卷积神经网络》。 Hello~你们的小夕终于吐泡泡了#xff5e;前几天小夕又加班赶project啦#xff0c;拖了好几天#xff0c;都快患上拖稿焦虑症了_(:з」∠)… 文章转载自订阅号「夕小瑶的卖萌屋」中的文章《不要再纠结卷积的公式啦0公式深度解析全连接前馈网络与卷积神经网络》。 Hello~你们的小夕终于吐泡泡了前几天小夕又加班赶project啦拖了好几天都快患上拖稿焦虑症了_(:з」∠)_ 关于卷积神经网小夕就不从卷积讲啦。以前不止一个粉丝问我卷积神经网络中卷积的意义甚至在知乎上被邀请回答一个“卷积神经网络为什么不叫互相关神经网络”的类似的奇怪问题终于忍不住还是赶紧把CNN写了吧说的自己要去拯救世界了一样\(//∇//)\ 我们还是从前面更简单的机器学习model开始。回顾一下前面已经讲过N*N*N次的全连接前馈神经网络前面文章中小夕讲过对于一个有一个隐含层的全连接前馈网络 这里就可以看作是两层简单的分类器的前后级联前一层分类器的输出就是后一层分类器的输入那么显然前一层分类器的每个输出即每个隐单元代表什么含义我们是不清楚的也就是前一层分类器学到的是分类未知意义的类别而后一层分类器则直接利用前一个分类器得到的未知类别来学习输出最终我们定义的类别举个栗子。 比如输入是一副图像 这个图像假设是100*100的也就是有10000个像素点。每个像素点取值0-255。 试想一下如果我们不想人为定义特征想要直接将原始图像丢进去去分类图像是否包含狗这个类别。那么这时就相当于输入层有10000维也就是有10000个特征每个特征就是一个像素点的值。 如果我们的机器学习模型不加隐含层的话 这时的模型显然是将每个像素点直接连接到了“是不是狗”这两个最终类别上。然而我们稍微想一下也知道其实每个像素点的值跟是不是狗并没有什么联系你不能说这个像素点是黑的值为0就说这个像素点是狗身上的同样像素点是白的值为255也不能说明这个像素点是不是狗身上的。所以显然直接用每个像素点的值做特征去决策是不是狗这件事是非常不靠谱的每个特征都跟类别关系不大啊姐姐 但是如果我们加一个隐含层呢这样情况会不会好一些呢 设想一下如前所述加一个隐含层后模型可以学习出一层未知类别而这些类别完全可以做到跟像素点强相关比如一个隐含类别是“以图像中心为圆心半径为50的地方是否有一个圆形” 学习出这个分类器很简单model只需要让这个圆圈所在的像素点对应的权重很大比如2让其他特征的权重接近0。这样这个地方出现的圆越明显像素值越接近0就会导致该子分类器的输出接近0而这个地方没有出现圆的时候像素值接近255就会导致分类器的输出很大看很轻松的就学会了这个简单的分类任务吧当然为了学到这个地方有没有圆还需要考虑圆周围的像素点要有足够对比度才能说明这里真有圆哦不过忽略这些细节啦懂了小夕瑶表达的意思就好。 好啦这个子分类器训练好啦也就是一个隐节点弄好了那么同样的道理其他的子分类器隐节点也可以学习到一些奇怪而简单的隐含类别这一系列的类别组合起来完全有可能是这样子的 看基于这些类别也就是对下一级分类器而言的特征下一级分类器就很容易分类这个图片是不是狗啦比如上面这个图片中就大约有7个隐节点分别负责7个线条存在与否的分类决策。那么下一级分类器只需要让这7个特征的权重都大一些这样当这些特征全部存在的时候显然这就是一条狗啊那么后一级分类器就能很自信的决策说“这图片是一条狗”看这比直接让单个像素点与狗挂钩的做法科学多了自信多了吧 这就是用深度全连接前馈神经网络做分类的基本原理。 但是你一定能发现问题这样显然有很大的局限性比如狗一旦换个姿势呢狗一旦换个大小呢图像中的狗蜷缩在一个角落呢 显然这时全连接前馈网络的隐含层的任务量要爆炸了要有非常多非常多的隐节点来学到非常多隐含类别/隐含特征才可能足够应付这么多复杂局面 而隐含层节点大量增多后将会导致神经网络的参数迅速增加比如上面这个例子增加一个隐节点就要增加100002个参数显然代价是非常大的。那么有没有更好的解决方案呢 很显然啊既然我们的简单分类器要学的是一个简单的圆一个简单的直线一个简单的决策任务那么所有的学习圆的隐节点完全可以合并为一个节点啊这时我们可以用一个远小于整幅图像的“窗”来表示。比如就用一个20*20的窗这样就只有400个参数而之前全连接的时候要100*10010000个参数而且这个窗就负责找出图片中各处的小圆这个“窗”就叫“卷积核”显然本质上就是一个缩小版的输入到一个隐节点的连接权重为了寻找图像中各个角落的小圆我们就可以让这个卷积核依次滑过图像的各个角落只要在某处发现了小圆就在该处激活即标记好这里有个小圆。 因此就跟前面全连接的时候一样为了学到多个特征我们肯定要设置多个卷积核呀每个卷机核负责一种简单的分类任务说到这个份上了大家也能猜到这依然是跟全连接的时候一样这里的简单分类任务其实就是为下一层的子分类器抛弃旧特征创造新特征啦。 显然依然跟全连接时一样比如同样是20*20的卷积核不同的参数就代表提取出了不同的特征有的负责提取20*20块里的小圆有的负责提取三角有的提取直线等等同一组大小的多个卷积核就统称为一个20*20的滤波器(filter)即一个某size的滤波器下可以设置学习多个卷积核 而我们既然需要从20*20的块里去分类小圆因此当然也可能需要从50*50的块里寻找大圆啦因此在一个卷积层我们还可以设置多个size的滤波器当然每个size的滤波器下可以设置多个卷积核来提取不同特征。 我们再来考虑更复杂的情况 我们知道很多时候的输入并不是只有一个表示层比如彩色图像就会包含红色、蓝色、绿色这三个图层而不像前面的灰度图一样仅仅包含一个图层。 有时候彩色图像的一个圆圈仅仅出现在蓝色图层里而没有出现在其他两个图层因此显然如果我们的负责提取圆圈的卷积核仅在一个图层里滑动的话可能会在很多位置遗漏很多信息因此当输入的数据可以表示成很多层即有很多不同角度的数据表示的时候卷积核要在每个位置处把所有的图层都映射/卷积一下并且求和才是真正确定图像在这个位置处到底有没有该卷积核要找的特征的做法。这里输入的多个层被称为多个输入通道(channel-in)所以一个卷积层不仅可以设置多个size的滤波器还可以在每个size的滤波器下设置多个卷积核还可以让同一个卷积核每次同时考虑输入数据的多个通道 我们再来考虑更更复杂的情况 假如我们现在的分类任务变了变得更难了现在我们直接想识别出一个图片中是不是正在发生猫狗大战 这样的话我们要有好多好多分类器啊我们要识别猫要识别狗要识别头上的包要识别创可贴等等这么多子分类任务怎么办呢能不能直接纳入一个卷积层呢 当然可以啦既然都可以有多个输入通道当然也可以设置多个输出通道channel-out啊一个输出通道就代表着一个子分类任务当然啦每个子分类任务都会有它的一套filter及其一堆卷积核。当然啦这些子分类任务也是人类不清楚的神经网络自己知道 至此完整的卷积层就定义完成啦。我们再总结一下一个卷积核在每个位置处要同时考虑所有的channel-in然后一个size的filter下可以设置多个卷积核用于提取不同特征然后可以设置不同size的多个filter来控制特征提取的粒度然后可以设置多个输出通道channel-out表示多个分类任务。而且跟全连接前馈网络一样被卷积核映射完即线性映射结束后别忘了丢激活函数哦 所以在图像中一个卷积层就分成多个size的filter每个size的filter就对应着一个channel-in*width*height*channel-out的4D参数Tensor其中的width和height就是卷积核这个窗口的宽和高啦这种二维窗口的卷积核也称为2D卷积同理三维卷积窗口就是3D卷积参数Tensor就是5D的啦。 想一想还有没有什么需要解决的问题呢 刚才我们讨论的对象仅仅是针对卷机核在一个位置上的操作显然一个卷积核滑过整个输入数据后会在各种产生很多输出那么这么多输出怎么取舍呢 试想一下其实我们要找出来猫的话不管猫的位置是在图片左上角的角落还是右下角还是铺满整个图片其实我们都说这个图片中包含了猫大部分时候我们对它的位置不感兴趣仅仅是关心这个图片中到底有没有这个东西因此我们只需要判断该卷积核在所有的位置点产生的最强输出有多强就够啦而其他位置点的输出直接抛弃就好咯这个操作就叫最大池化max-pooling这也是为什么大部分情况下最大池化是最有效的池化方式。 显然处理一个卷积核的所有位置点除了取最大值的方式肯定还有一些场景需要其他更合理的方式。这些方式都叫池化。 除了最大池化还有时会用均值池化average-pooling、取前n个最大值池化max-n pooling等从名字就能猜到池化方式啦就不一一啰嗦了当然对所有位置点进行一次池化的话叫全局池化相当于提取了全局的一个特征或者说一个类别。如果我们对池化操作也定义一个范围即一个窗/一个池化核的话就是局部池化啦得到的就是局部特征/类别。 哦对了都已经讲解到这里啦很显然池化是肯定跟在卷积层后面的当然由于卷积后务必跟一个激活函数保证模型的非线性所以如果激活函数也算一层的话池化层是跟在激活层后面的。 好啦卷积神经网络讲完了卷积-激活-池化就这么简单。当然正如之前所说如果池化的结果仍然是作为一个隐含类别的话即池化的输出不接我们最终的分类任务的话那么这依然跟前面一样可以作为下一层的特征去使用。因此池化层后面当然又可以接新一轮的卷积-激活-池化也就是形成真正意义上的深度神经网络。
