两个男性做网站,网站运营面试,博海博海网站建设,网站开发大牛来源#xff1a;非正式组织概要#xff1a;在Yann LeCun、Yoshua Bengio和Geoffrey Hinton三巨头nature深度学习综述《deep learning》文章中提到#xff0c;这段期间神经网络模型被主流的计算机视觉和学术界所抛弃。一、前言深度学习的发展大致分为这么几个学期#xff1a… 来源非正式组织概要在Yann LeCun、Yoshua Bengio和Geoffrey Hinton三巨头nature深度学习综述《deep learning》文章中提到这段期间神经网络模型被主流的计算机视觉和学术界所抛弃。一、前言深度学习的发展大致分为这么几个学期萌芽期从BP算法的发明1970s-1980s到2006年期间。迅速发展期从2006年栈式自编码器BP微调提出之后。爆发期从2012年Hintont团队的Alexnet模型在ImageNet竞赛取得惊人成绩之后。萌芽期在Yann LeCun、Yoshua Bengio和Geoffrey Hinton三巨头nature深度学习综述《deep learning》文章中提到这段期间神经网络模型被主流的计算机视觉和学术界所抛弃。这期间学者们试图用有监督学习的方式训练深度神经网络然而方法不是十分奏效陷入了困境在Andrew的教程中可以找到大概这几点原因数据获取数据获取问题。有监督训练依赖于有标签的数据才能进行训练。然而有标签的数据通常是稀疏的因此对于许多问题很难获得足够多的样本来拟合一个复杂模型的参数。例如考虑到深度网络具有强大的表达能力在不充足的数据上进行训练将会导致过拟合。局部极值问题。使用监督学习方法来对浅层网络只有一个隐藏层或者没有隐藏层进行训练通常能够使得参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候并不能取得很好的效果。特别的使用监督学习方法训练神经网络的时候通常会涉及到求解一个高度非凸的优化问题。对深度网络而言这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值因而使用梯度下降法或者像共轭梯度下降法L-BFGS等方法效果并不好。梯度弥散问题或者梯度消失。梯度下降法在使用随机初始化权重的深度网络上效果不好的技术原因是梯度会变得非常小。具体而言当使用反向传播方法计算导数的时候随着网络的深度的增加反向传播的梯度从输出层到网络的最初几层的幅度值会急剧的减小结果就造成了整体的损失函数相对于最初几层的权重的导数特别小。这样当使用梯度下降法的时候最初几层的权重变化非常缓慢以至于他们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”或者梯度消失。因为一直没有找到有效的解决这些问题的方法这期间深度神经网络的发展一直不温不火。或者说在2001年Hochreiter的Gradient flow in recurrent nets: the difficulty of learning long-term dependencies好像是这篇提出了神经网络存在的几个问题后在接下来的几年内神经网络的发展陷入了低谷。而那几年流行的机器学习算法是SVM和集成模型随机森林、adaboost等。迅速发展期2006年hinton在nature上发表了一篇文章Reducing the dimensionality of data with neural networks针对上面提到的三个深度学习的问题提出了栈式自编码器BP微调的解决方案。在一定程度上解决了上面的三个问题。栈式自编码神经网络是无监督学习算法。因而不需要规模很大的有标签样本。经过自编码神经网络训练后的参数已经落在一个较优的位置上从这个位置开始BP微调不用担心局部极值问题。自编码神经网络训练已经使得深度网络的前几层具有表达能力了比如可以提取出图片的边局部组建等等即使有梯度弥散问题前几层参数不再更新也不会影响最终深度网络的表达能力。从此深度学习开启崭新的浪潮。爆发期在12年的ILSVRC竞赛中Hinton团队的Alexnet模型Imagenet classification with deep convolutional neural networks将1000类分类的top-5误差率降低到了15.3%碾压了第二名使用SVM算法的26.2%开启了深度学习的革命从此之后深度学习走上了指数式的发展道路。回到Hilton团队的Alexnet模型上仅仅使用了有监督的训练貌似没涉及无监督的预训练。不是在之前说有监督的深度学习训练存在很多问题吗大概是因为这几条原因导致了有监督训练的可行大规模标注数据的出现。在ILSVRC使用的数据集包括120万的训练图片5万张验证图片和15万张测试图片。这些图片都是有标注的属于1000类而在imagenet出现之前这样规模的标注数据是不存在的。对于局部极值的问题nature综述中三个大牛作者的说法是对于深度网络来说局部极值从来都不是一个问题从任意的初始参数值开始训练网络最后都能达到相似的分类效果。这也是被最近的理论和实践所证明的。对于梯度弥散导致的收敛速度慢的问题Alexnet模型的两大利器ReLu激活函数和GPU并行加速前者使SGD有6倍的加速后者使用两块CTX580GPU也极大的加快了SGD的收敛速度两者的效果相乘使得无监督预训练几乎是多余的了梯度弥散问题也不再是一个很大问题。总结对于06-12年期间的深度神经网络主要以无监督预训练为主流从12年以后这时数据库足够大上万级别模型足够先进ReLU激活函数dropout等等同时计算速度足够快GPU加速使得无监督预训练自编码神经网络在很多应用场景中失去了存在的价值有监督训练已经足够完成任务。一句话总结06年的无监督预训练开启了深度学习的纪元在之后深度学习快速发展的过程中大数据的获取、计算机硬件的发展以及深度模型的升级使得有监督训练重新走上舞台无监督训练也算是完成了历史使命。那么预训练还有用吗答案是肯定的比如我们有一个分类任务数据库很小这时还是需要通过预训练来避免过拟合的问题只不过预训练是通过在一个大的数据库上通过有监督来完成的这种有监督预训加小的数据库上的微调的模型称为Transfer learning。未来智能实验室致力于研究互联网与人工智能未来发展趋势观察评估人工智能发展水平由互联网进化论作者计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎支持和加入我们。扫描以下二维码或点击本文左下角“阅读原文”
