网站开发网站制作报价,建设网站不用模板可以吗,免费word文档模板下载网站,河南微网站开发文章目录 简介神经网络的发展历程神经网络的初生神经网络的第一次折戟神经网络的新生#xff0c;Hinton携BP算法登上历史舞台命途多舛#xff0c;神经网络的第二次寒冬神经网络的重生#xff0c;黄袍加身#xff0c;一步封神神经网络的未来#xff0c;众说纷纭其他时间点 … 文章目录 简介神经网络的发展历程神经网络的初生神经网络的第一次折戟神经网络的新生Hinton携BP算法登上历史舞台命途多舛神经网络的第二次寒冬神经网络的重生黄袍加身一步封神神经网络的未来众说纷纭其他时间点 神经网络简介激活函数的作用偏置项的作用输出层 RNNCNNTensorFlow游乐场子问题拓展什么是感知机单层感知机为什么无法处理异或问题早期的单层感知机是怎么训练的为什么这种训练的方式无法迁移到多层感知机上八卦新闻之人工神经网络与支持向量机之争LeCun大神简述 参考文献 简介
深度学习、神经网络近些年来人工智能领域最炙手可热的话题。保持垄断直到强化学习被提出。 深度学习的应用领域广泛文本、图像、音视频只要能数据化的没有NN处理不了的。(被戏称为万能逼近定理炼丹工程师) 人脸识别机器翻译自动驾驶AI换脸你能听到的、能想到的黑科技背后都有神经网络的支撑。 深度学习这一概念正式提出于2006年是Hinton(辛顿神经网络之父)老爷子给出的定义“多层神经网络及其相关学习方法”。
LeCun任职Facebook AI实验室时就说如果把神经网络从Facebook中去掉那Facebook将啥也不是。 在人工智能研究领域Yann LeCun(法国绅士杨立昆)、Geoffrey Hinton (辛顿)和 Yoshua Bengio(本吉奥)一直被公认为深度学习三巨头(男子偶像天团黑暗中最后的光)。
神经网络的发展历程
突然感觉花边新闻还不少。 目前公认的神经网络的发展历程可以分为三个阶段
20世纪40年代~60年代初生20世纪80年代~90年代新生2006年至今黄袍加身
神经网络的初生
[1]我们用的神经网络实际上全称应该是人工神经网络它并不是近年出现的新产品而是一个名副其实的老古董。人工神经网络第一次出现是在20世纪50年代左右准确的说是1943年
1943年神经科学家和控制论专家Warren McCulloch和逻辑学家Walter Pitts基于数学和阈值逻辑算法创造了一种神经网络计算模型。这个线性模型通过测试f(x,w)的值是正还是负来识别两种类别的输入。从此之后学界针对神经网络的研究正式分成了两部分一是对大脑中生物过程的研究二是将神经网络应用于人工智能的研究即人工神经网络所谓的深度学习依赖的框架就是这个人工神经网络[1]。
为叙述简便以下将人工神经网络用神经网络代指
当时应该是叫做感知机其实就是单层的人工神经网络
之后的几年里到1969年之前学界对这种新生的计算模型还是蛮有热情的大家觉得这个东西很有发展潜力陆陆续续有很多人围绕这个模型做了些研究对人工神经网络的机制、计算思想等做了一些程度上的丰满。比如说 比较突出的贡献是1957年心理学家Frank Rosenblatt创造了模式识别算法感知机。
学界呈现一片父慈子孝欣欣向荣的景象。
直到1969年。
神经网络的第一次折戟
1969年Marvin Minsky(马文人工智能之父)和Seymour Papert(西蒙)发现了神经网络的两个重大缺陷
第一个问题是单层感知机无法处理异或问题XOR问题。感知机本质上是线性函数所有的线性分类模型都无法处理异或问题详情见后续“子问题拓展”小节想要搞非线性分类解决线性不可分问题的话必须要发展多层感知机。
那么第二个问题来了当时世界的人受限于多种原因没有办法将多层感知机训练的足够好。比较突出的原因有两个一是当时学界并没有发现一种能够应用于多层感知机上的有效算法。那么早期的单层感知机是怎么训练的二就是硬件限制了当时的计算机的计算能力并不足以支撑复杂的神经网络。
自此学术界的很多权威开始质疑神经网络绝大部分研究人员都放弃了对神经网络的研究神经网络的研究进入了寒冬。
神经网络的新生Hinton携BP算法登上历史舞台
Hinton携BP算法登上历史舞台。
直到1986年Rumelhart、Hinton和 Williams合著 Learning representations by backpropagating errors正式提出使用反向传播BP算法来训练多层神经网络再次唤起了学界对人工神经网络的研究热情。
这里需要提一句的是作为破冰关键的BP算法实际上在1974年就已经出现了。 1974年Paul Werbos在自己的博士毕业论文中深刻分析了将反向传播算法运用于神经网络方面的可能性但是遗憾的是他并没有发表将BP算法应用于神经网络这方面的论文大概是因为当时学界里的人已经失去了对这方面的兴趣或者说信心。但好在不是所有人都这样受此启发 LeCun Yann(他给自己取了个中文名杨立昆深度学习三巨头之一)在Hinton实验室做博后期间提出了BP应用于神经网络的雏形并最终在1986年正式出现在世人眼前。 神经网络的发展迅速迎来第二春。
命途多舛神经网络的第二次寒冬
然而好景不长。 20世纪90年代中期由Vapnik(万普尼克, 战斗民族的骄傲统计学习理论的创始人之一)等人发明的支持向量机诞生它同样解决了线性不可分问题在很多方面都强势碾压了刚复活没多久的多层神经网络比如说训练速度快、不需要大量调参、没有梯度消失等问题泛化性能强、过拟合风险更小等使得支持向量机一诞生就迅速打败了自己的老前辈多层神经网络成为了学界的主流。后来甚至一度发展到只要你的论文中包含了神经网络那就非常容易被拒稿学术界当时对神经网络的态度已经不能拿嫌弃来形容了。神经网络的研究再次进入了寒冬。选择继续研究神经网络的学者寥寥无几其中就包括了上面提到的Hinton老爷子。 长江后浪推前浪浮事新人换旧人。
学界那帮男人的喜新厌旧远超你的想象。
但好在我们有Hinton。
神经网络的重生黄袍加身一步封神
十年磨一剑Hinton老爷子王者归来。
2006年Hinton老爷子提出了“深度置信网络”通过“预训练”“微调”的优化方法提高了神经网络的性能且大大减少了训练时间。 但这都不是最重要的。 以后人的眼光来看当时最重要的是他为多层神经网络及相关学习方法赋予了一个新的名词深度学习。
2012年Hinton老爷子用LeCun赖以成名的卷积神经网络和自己的深度置信调优技术以极大的优势(超出第二名11%第二名和第三名只差1%)赢下了当年的ImageNet竞赛狠狠的碾压了其他一众机器学习算法。 至此深度学习引爆了人们的研究热情并一步一步成了人工智能的代名词发展垄断至今。Hinton、LeCun等人被直接送上神坛跟神经网络有关的一切东西都开始被追捧最初那段时间甚至演变成跟深度学习不沾边的论文很难发表了。直到前几年强化学习的兴起这股风气才有所收敛。
不过学界还是有比较清醒的学者的对于做了几十年冷板凳的神经网络突然被捧上巅峰也有很多相对理智学者对神经网络的未来表示了担忧比如说LeCun他一直都在呼吁学界对深度学习保持冷静。
神经网络的未来众说纷纭
神经网络已经神化了就像前几年的“互联网”一样无人不知无人不晓。 就像年轻那会儿出去做项目我跟他说我改进了预处理的手段我修改了优化器的细节我降低了错误率多少多少他是不在意的但是你跟他讲我用了深度学习他会对你肃然起敬。 但幸好学界还是有比较清醒的学者的对于做了几十年冷板凳的神经网络突然被捧上巅峰也有很多理智学者对神经网络的未来表示了担忧比如说LeCun他一直都在呼吁学界对深度学习保持冷静。 不过LeCun这位法国绅士说话很直他呼吁的方式简单来说就是泼凉水。 2018年的时候LeCun在推特上说应该放弃深度学习惊爆了世人的眼球。我不知道国外的媒体是怎么报道的反正那段时间微信公众号给我推送的都是这种标题 震惊深度学习巨头竟直言放弃深度学习是人性的扭曲还是道德的沦丧 但实际上他的意思是换一个名词来解释深度学习的工作即“可微分编程”Lecun想告诉大家的是人们对深度学习的期望太高了终结者天网都不是DL只是“将各种参数化的函数模块网络组装起来做成新软件同时以某种基于梯度的优化再将其训练出来” 这跟普通的编程工作没有区别。
其他时间点
其他一些同样比较重要的时间点记录一下 神经网络简介
跟所有的分类一样神经网络可以将输入映射到输出自动学习拟合x和y之间的函数关系f(x)y。它会自己找到它觉得最好的一个映射f。需要提一句的是这个f的具体形式你是不知道的这也是神经网络不可解释性的一方面。它就是个黑盒。 一个简单的神经网络输入层、隐藏层和输出层。
隐层可以有多个。
每一层的输出同时也是下一层的输入。每层由一个个神经元组成每层中每个神经元是独立的。
神经元之间的连线在生物学中叫做突触而在数学模型中这样的突触有一个加权数据叫做权重。
以下是单个神经元的示意图 每个神经元或者说节点将输入数据x与一组权重结合通过权重来放大或者抑制输入来指定其在模型中的重要性。
w0又称偏置以下用b(bias)表示 输入数据和权重的乘积之和将会进入神经元的激活函数来判断信号是否继续向下传播或者说来决定多少信号会继续向下传播 a 1 , a 2 , … , a n a_1,a_2, \dots, a_n a1,a2,…,an为输入向量的各个分量; w 1 , w 2 , … , w n w_1,w_2, \dots, w_n w1,w2,…,wn为神经元各个突触的权重值; b b b是偏置; f f f是神经元的激活函数(activation function), 通常是非线性函数; t t t是神经元的输出;
所以一个神经元的数学表示为: t f ( W T ∗ A b ) tf(W^T*Ab) tf(WT∗Ab) W W W为权值向量, W T W^T WT是它的转置; A A A是输入向量 b b b是偏置 f f f是activation function
可见, 一个神经元的作用是, 求得输入向量和权重向量的内积之后, 将其输入到激活函数, 得到一个标量结果作为神经元的输出;
激活函数的作用
激活函数在数学上的作用是将(−∞,∞)之间的数映射到指定区间之间如0,1或者(-1, 1)前者如sigmoid、relu后者如tanh。
为什么要使用激活函数
这个说法其实并不严谨严谨的说法应该是问为什么要使用非线性激活函数
答案是为了给神经网络引入非线性。
假设有一个神经网络激活函数是恒等激活函数即g(z)z那么 可以看到不管是a1还是a2都只是x的线性组合所以不管多少层效果都跟一层一样。所以我们需要非线性激活函数来为神经网络的拟合引入无限可能。
以下是一些激活函数的曲线图 sigmoid relu解决了梯度消失的问题因为它导数是1.。。因为是分段函数所以也算是非线性。但有的神经元可能永远不会被激活因为左侧全是0.
针对这种情况学界又提出两种PRelu和ELU特别对左侧做了处理 softmax 可以看出来softmax跟其他激活函数不一样其他激活函数是神经元之间各自激活各自而softmax是把所有神经元搞到一起做了个归一化所以softmax往往被用于在最后的输出层用来计算概率加起来等于1。
参考文献
各种激活函数, 图像, 导数及其特点
偏置项的作用
很简单为决策平面添加水平方向的偏移量如果不加偏置的话我们所有的分割线或者说决策平面都是经过原点的但是现实问题并不会是经过原点线性可分的。
参考文献神经网络中w,b参数的作用为何需要偏置b的解释
输出层
在分类问题中输出层输出的是概率比如说我有五个类别那输出层就对应5个神经元每个神经元表示一个概率即输入样本是本类的概率。
输出层除了生成概率外还有一个比较重要的作用是计算损失值。
损失函数的存在有两个重要的目的一是为了给神经网络一个优化的目标就是损失函数最小化最理想的情况就是一个属于类别2的样本其输出层第二个神经元输出的概率是1其他神经元全是0.
第二个作用是为参数的更新提供参考神经网络每次训练都会调整每个权重参数的值那怎么调每个参数调多少都是由损失函数决定的损失函数提供一个初始的梯度值然后逆向回传梯度每个参数的更新法则是 w n e w w o l d − l r ∗ 该参数对应的梯度 w_{new} w_{old} - lr * 该参数对应的梯度 wnewwold−lr∗该参数对应的梯度
RNN
RNN很适合用来做自然语言处理。 这块能说很久有时间之后再补充。 在自然语言处理领域之前是无法处理语序问题的只能利用词频。而RNN的诞生使得利用语序成为可能。 为什么要关注语序呢直观点讲“你是我爹”和“我是你爹”所表示的语义是不一样的。
CNN
参考文献一文简单介绍卷积神经网络CNN
垄断图像领域的卷积神经网络CNN其中最重要的就是卷积层。
在CNN中的第一层卷积层先选择一个局部区域filter去扫描整张图片局部区域所圈起来的所有节点会和filter做乘法累加操作再连接到下一层的一个节点上。假设要扫描的图片是一张灰度图片也就是只有一个颜色通道所有的filter也是个二维的矩阵那个该卷积过程可以用如下动图表示。 那假如卷积层要扫描的图片是张彩色图片也就是该图片有RGB三个通道那么图片的像素可以表示成三维结构所选用的filter也是个三维结构如图所示 那卷积过程就如图 比较有意思的是在这个过程中你可以把生成的三维矩阵重新图片化可以看到一个原图的一个边缘细节。之前有论文是这么展示的用来形象展示CNN的每一层都在做什么可惜我没存。 突然有点好奇文本这样做会出来什么比较难毕竟语言模型的向量空间实际上是离散的。
TensorFlow游乐场
可视化游乐场 这个比较有意思
子问题拓展
神经网络的作用极大LeCun任职Facebook ai实验室时就说如果把神经网络从Facebook中去掉那Facebook将啥也不是。 而且真实的神经网络比上面介绍的麻烦的多日常使用的时候我们需要选择好权重初始化器优化器乱七八糟一堆。batch size的大小、学习率、dropout、标准化。每个稍不注意都会对最终的结果产生很严重的影响。
什么是感知机
以下基于参考文献2
感知机perceptron是一种二元分类的线性分类模型输入样本的特征向量输出样本的类别。
感知机只有一个输出值通过与阈值的对比来决定最终输出1还是-1。
感知机引入基于误分类的损失函数利用梯度下降法对损失函数进行极小化进行训练这个训练实际上就是最优化求解的问题啦。
感知器的数学定义直接贴图了 用通俗的语言描述感知机的学习训练过程
对感知机的权重w进行随机赋值对于训练集中一个样本的输入值x计算其在感知机里的输出值f(x);如果根据输出值得到的分类不对则计算损失函数值用损失函数来调整权重继续输入下一个样本重复步骤2,3重复步骤4一直到感知机不再出错。
单层感知机为什么无法处理异或问题
单层感知机实际上就是一种线性模型线性模型都无法处理异或问题
那什么是异或问题 右图坐标系红色表示一类蓝色表示一类我们需要知道找到一个超平面把这两个类别分开明显可见的是我们没法找到一条直线能完成这个工作。
以上参考文献感知机不能表示“异或”
关于逻辑回归是线性还是非线性似乎是个好问题逻辑回归本身的f(x)是线性的加上g(x)的sigmoid之后是非线性的。
判断一个模型是线性还是非线性这个似乎是个众说纷纭的故事
有文献提过区分是否为线性模型主要是看一个乘法式子中自变量x前的系数w,如果自变量只被一个参数影响那么此模型为线性模型。机器学习中线性模型和非线性的区别
当然最直观的还是看决策平面是否直线。
还有一种说法源于机器学习中的线性和非线性判断
上面讲线性的定义是F(axy) aF(x) F(y)其中x和y是变量而a是常数。卷积满足这个定义所以是线性操作而非线性的操作有 x n x^n xn,n不为1 ∣ x ∣ |x| ∣x∣即变量在绝对值中sgnx指出x的正负号x大于0则返回1小于0则返回-1等于0返回0
早期的单层感知机是怎么训练的为什么这种训练的方式无法迁移到多层感知机上
神经元的学习机制是基于将错误最小化的微积分
八卦新闻之人工神经网络与支持向量机之争
参考文献3
1989年LeCun提出了卷积神经网络在图像领域取得了不错的效果,上世纪90年代末期已经处理了美国10-20支票数字识别。但是因为神经网络本身的不可解释性CNN也受到了不少的质疑。比如说支持向量机之父数学家Vladinmir Vapnik之后神经网络进入二次寒冬就是他干的。
1995年3月的一个下午Vapnik和Larry Jackel把LeCun招进贝尔实验室的人打了一个赌。Jackel认为到2000年我们能够明确了解人工神经网络能够发挥多大作用。Vapnik不同意这个观点他认为就算到2005年也没有人能够理解如何使用神经网络与1995年的状况相差无几。他们的赌注是一顿奢华的晚餐双方在证人面前签字画押而LeCun则是第三方签名人Bottou是非官方见证人。
现在来看Vapnik之后称为阿V赢了一半因为直到现在研究人员也没有完整的搞明白神经网络内部的工作原理虽然时不时就有几篇相关论文发表但是似乎并没有什么明显的反响。个人感觉这方面的研究最突出的贡献就是给这种现象总结了个术语就是神经网络的不可解释性。但是Larry也赢了一半因为神经网络到目前仍然活跃在人工智能的一线上。
据说2000年两人在享用完一顿奢侈晚餐后平分了账单。
这就是著名的贝尔实验室学术豪赌
LeCun大神简述
参考文献4
1988年年仅27岁的法国绅士LeCun走进了贝尔实验室接触到了大量数据集和运行飞快的电脑一个拥有5000个训练样本的USPS数据集——在当时算是数一数二的庞大数据集了。
Yann LeCunCNN之父纽约大学终身教授与Geoffrey Hinton、Yoshua Bengio并成为“深度学习三巨头”
参考文献5
LeCun比较真性情说话很直18年推特上说应该放弃深度学习被媒体过度解读实际上他的意思是换一个名词来解释深度学习的工作即“可微分编程”Lecun想告诉大家的是人们对深度学习的期望太高了终结者天网都不是DL只是“将各种参数化的函数模块网络组装起来做成新软件同时以某种基于梯度的优化再将其训练出来”
他跟普通的编程工作并没有区别。
18年有个比较火的全球第一个机器人公民号称人类末日的苏菲娅LeCun直接在推特上开骂“招摇撞骗脑子里全是屎”
参考文献
神经网络的历史什么是感知机 对原理讲的特别好深浅适中且清晰研究人工智能三十年Facebook AI 负责人Yann LeCun到底有多牛【AI大咖】再认识Yann LeCun一个可能是拥有最多中文名的男人怼完Sophia怼深度学习细数完大神Yann LeCun 这些年怼过的N件事原来顶级高手是这样怼人的…
