三盛都会城网站 html5,全国企业信息管理查询系统官网,分类信息网站建设专职,绍兴建设银行网站首页本文的主要目的#xff0c;是简单介绍时下流行的深度学习算法的基础知识#xff0c;本人也看过许多其他教程#xff0c;感觉其中大部分讲的还是太过深奥#xff0c;于是便有了写一篇科普文的想法。博主也是现学现卖#xff0c;文中如有不当之处#xff0c;请各位指出是简单介绍时下流行的深度学习算法的基础知识本人也看过许多其他教程感觉其中大部分讲的还是太过深奥于是便有了写一篇科普文的想法。博主也是现学现卖文中如有不当之处请各位指出共同进步。本文的目标读者是对机器学习和神经网络有一定了解的同学包括梯度下降、神经网络、反向传播算法等机器学习的相关知识强烈推荐吴恩达大神的机器学习课程 深度学习简介深度学习是指多层神经网络上运用各种机器学习算法解决图像文本等各种问题的算法集合。深度学习从大类上可以归入神经网络不过在具体实现上有许多变化。深度学习的核心是特征学习旨在通过分层网络获取分层次的特征信息从而解决以往需要人工设计特征的重要难题。深度学习是一个框架包含多个重要算法: Convolutional Neural Networks(CNN)卷积神经网络AutoEncoder自动编码器Sparse Coding稀疏编码Restricted Boltzmann Machine(RBM)限制波尔兹曼机Deep Belief Networks(DBN)深信度网络Recurrent neural Network(RNN)多层反馈循环神经网络神经网络对于不同问题(图像语音文本)需要选用不同网络模型才能达到更好效果。此外最近几年增强学习(Reinforcement Learning)与深度学习的结合也创造了许多了不起的成果AlphaGo就是其中之一。 人类视觉原理深度学习的许多研究成果离不开对大脑认知原理的研究尤其是视觉原理的研究。1981 年的诺贝尔医学奖颁发给了 David Hubel出生于加拿大的美国神经生物学家 和TorstenWiesel以及 Roger Sperry。前两位的主要贡献是“发现了视觉系统的信息处理”可视皮层是分级的。人类的视觉原理如下从原始信号摄入开始瞳孔摄入像素 Pixels接着做初步处理大脑皮层某些细胞发现边缘和方向然后抽象大脑判定眼前的物体的形状是圆形的然后进一步抽象大脑进一步判定该物体是只气球。下面是人脑进行人脸识别的一个示例 对于不同的物体人类视觉也是通过这样逐层分级来进行认知的我们可以看到在最底层特征基本上是类似的就是各种边缘越往上越能提取出此类物体的一些特征轮子、眼睛、躯干等到最上层不同的高级特征最终组合成相应的图像从而能够让人类准确的区分不同的物体。 那么我们可以很自然的想到可以不可以模仿人类大脑的这个特点构造多层的神经网络较低层的识别初级的图像特征若干底层特征组成更上一层特征最终通过多个层级的组合最终在顶层做出分类呢答案是肯定的这也是许多深度学习算法包括CNN的灵感来源。 卷积网络介绍卷积神经网络是一种多层神经网络擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法成功将数据量庞大的图像识别问题不断降维最终使其能够被训练。CNN最早由Yann LeCun提出并应用在手写字体识别上MINST。LeCun提出的网络称为LeNet其网络结构如下这是一个最典型的卷积网络由卷积层、池化层、全连接层组成。其中卷积层与池化层配合组成多个卷积组逐层提取特征最终通过若干个全连接层完成分类。卷积层完成的操作可以认为是受局部感受野概念的启发而池化层主要是为了降低数据维度。综合起来说CNN通过卷积来模拟特征区分并且通过卷积的权值共享及池化来降低网络参数的数量级最后通过传统神经网络完成分类等任务。 降低参数量级为什么要降低参数量级从下面的例子就可以很容易理解了。如果我们使用传统神经网络方式对一张图片进行分类那么我们把图片的每个像素都连接到隐藏层节点上那么对于一张1000x1000像素的图片如果我们有1M隐藏层单元那么一共有10^12个参数这显然是不能接受的。如下图所示但是我们在CNN里可以大大减少参数个数我们基于以下两个假设1最底层特征都是局部性的也就是说我们用10x10这样大小的过滤器就能表示边缘等底层特征2图像上不同小片段以及不同图像上的小片段的特征是类似的也就是说我们能用同样的一组分类器来描述各种各样不同的图像基于以上两个假设我们就能把第一层网络结构简化如下我们用100个10x10的小过滤器就能够描述整幅图片上的底层特征。 卷积Convolution卷积运算的定义如下图所示如图所示我们有一个5x5的图像我们用一个3x3的卷积核1 0 10 1 01 0 1来对图像进行卷积操作可以理解为有一个滑动窗口把卷积核与对应的图像像素做乘积然后求和得到了3x3的卷积结果。这个过程我们可以理解为我们使用一个过滤器卷积核来过滤图像的各个小区域从而得到这些小区域的特征值。在实际训练过程中卷积核的值是在学习过程中学到的。在具体应用中往往有多个卷积核可以认为每个卷积核代表了一种图像模式如果某个图像块与此卷积核卷积出的值大则认为此图像块十分接近于此卷积核。如果我们设计了6个卷积核可以理解我们认为这个图像上有6种底层纹理模式也就是我们用6中基础模式就能描绘出一副图像。以下就是24种不同的卷积核的示例 池化Pooling池化听起来很高深其实简单的说就是下采样。池化的过程如下图所示上图中我们可以看到原始图片是20x20的我们对其进行下采样采样窗口为10x10最终将其下采样成为一个2x2大小的特征图。之所以这么做的原因是因为即使做完了卷积图像仍然很大因为卷积核比较小所以为了降低数据维度就进行下采样。之所以能这么做是因为即使减少了许多数据特征的统计属性仍能够描述图像而且由于降低了数据维度有效地避免了过拟合。在实际应用中池化根据下采样的方法分为最大值下采样Max-Pooling与平均值下采样Mean-Pooling。 LeNet介绍下面再回到LeNet网络结构这回我们就比较好理解了原始图像进来以后先进入一个卷积层C1由6个5x5的卷积核组成卷积出28x28的图像然后下采样到14x14S2。接下来再进一个卷积层C3由16个5x5的卷积核组成之后再下采样到5x5S4。注意这里S2与C3的连接方式并不是全连接而是部分连接如下图所示其中行代表S2层的某个节点列代表C3层的某个节点。我们可以看出C3-0跟S2-0,1,2连接C3-1跟S2-1,2,3连接后面依次类推仔细观察可以发现其实就是排列组合 0 0 0 1 1 10 0 1 1 1 00 1 1 1 0 0...1 1 1 1 1 1 我们可以领悟作者的意图即用不同特征的底层组合可以得到进一步的高级特征例如/ \ ^ 比较抽象O(∩_∩)O~再比如好多个斜线段连成一个圆等等。最后通过全连接层C5、F6得到10个输出对应10个数字的概率。 最后说一点个人的想法哈我认为第一个卷积层选6个卷积核是有原因的大概也许可能是因为0~9其实能用以下6个边缘来代表是不是有点道理呢哈哈然后C3层的数量选择上面也说了是从选3个开始的排列组合所以也是可以理解的。其实这些都是针对特定问题的trick现在更加通用的网络的结构都会复杂得多至于这些网络的参数如何选择那就需要我们好好学习了。 训练过程卷积神经网络的训练过程与传统神经网络类似也是参照了反向传播算法。第一阶段向前传播阶段a从样本集中取一个样本(X,Yp)将X输入网络b计算相应的实际输出Op。 在此阶段信息从输入层经过逐级的变换传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中网络执行的是计算实际上就是输入与每层的权值矩阵相点乘得到最后的输出结果 OpFn…F2F1XpW1W2…Wn第二阶段向后传播阶段a算实际输出Op与相应的理想输出Yp的差b按极小化误差的方法反向传播调整权矩阵。以上内容摘自其他博客由于我也没有仔细了解这一块建议直接参考原博客。 参考资料Deep Learning深度学习学习笔记整理系列之七 Deep Learning论文笔记之四CNN卷积神经网络推导和实现卷积神经网络一LeNet5的基本结构UFLDL Tutorial
