三只松鼠电商网站建设,网络营销主要特点,wordpress 判断函数,如何开发一个手机网站2.2.1 什么是神经网络
人工神经网络#xff08; Artificial Neural Network#xff0c; 简写为ANN#xff09;也简称为神经网络#xff08;NN#xff09;。是一种模仿生物神经网络#xff08;动物的中枢神经系统#xff0c;特别是大脑#xff09;结构和功能的 计算模型…
2.2.1 什么是神经网络
人工神经网络 Artificial Neural Network 简写为ANN也简称为神经网络NN。是一种模仿生物神经网络动物的中枢神经系统特别是大脑结构和功能的 计算模型。经典的神经网络结构包含三个层次的神经网络。分别输入层输出层以及隐藏层。 其中每层的圆圈代表一个神经元隐藏层和输出层的神经元有输入的数据计算后输出输入层的神经元只是输入。 神经网络的特点 1、每个连接都有个权值2、同一层神经元之间没有连接3、最后的输出结果对应的层也称之为全连接层 组成 输入层神经网络的第一层原始的样本数据输出层神经网络的最后一层最终的计算结果隐藏层其余的中间层都被称为隐藏层hidden layer权重weight就是之前所说的参数这里被称为一个神经节点的权重。激活函数activation function激活函数是两层神经元之间的映射函数是一种输出到输入的转换一般是非线性的而且是单调可微函数因为优化方法是基于梯度的。常见的激活函数有sigmoid,tanh
那么为什么设计这样的结构呢首先从一个最基础的结构说起神经元。以前也称之为感知机。神经元就是要模拟人的神经元结构。 一个神经元通常具有多个树突主要用来接受传入信息而轴突只有一条轴突尾端有许多轴突末梢可以给其他多个神经元传递信息。轴突末梢跟其他神经元的树突产生连接从而传递信号。这个连接的位置在生物学上叫做“突触”。 要理解神经网络先解释一种叫做感知机perceptron的人工神经元。感知机由科学家Frank Rosenblatt发明于1950至1960年代他受到了来自Warren McCulloch 和Walter Pitts的更早工作的启发。 注我们通常使用其它种类的人工神经元模型主要使用的是一种叫做sigmoid神经元sigmoid neuron的神经元模型。 2.2.1.1 感知机(PLA: Perceptron Learning Algorithm))
感知机就是模拟这样的大脑神经网络处理数据的过程。感知机模型如下图 感知机是一种最基础的分类模型前半部分类似于回归模型。感知机最基础是这样的函数而逻辑回归用的sigmoid。这个感知机具有连接的权重和偏置 2.2.3 神经网络发展史 1、深度学习其实并不是新的事物深度学习所需要的神经网络技术起源于20世纪50年代那个时候叫做感知机。当时也通常使用单层感知机尽管结构简单但是能够解决相当复杂的问题。2、后来感知机被证明存在严重的问题因为只能学习线性可分函数连简单的异或(XOR)等线性不可分问题都无能为力1969年Marvin Minsky写了一本叫做《Perceptrons》的书他提出了著名的两个观点1.单层感知机没用我们需要多层感知机来解决复杂问题 2.没有有效的训练算法。3、1974年哈佛大学博士毕业生Paul J. Werbos首次提出反向传播算法应用在神经网络的可能The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting但并未得到学术界的重视。直到1986年BP算法才真正开始流行起来主要是因为Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》4、 虽然训练算法有了突破但是还存在很多问题比如以当时计算机的计算能力训练一次神经网络耗时太久不具备实际使用价值。同时还会存在过拟合以及梯度消失等问题。而90年代中期由Vapnik等人发明的支持向量机Support Vector MachinesSVM算法诞生它同样解决了线性不可分问题但是对比神经网络有全方位优势 1、高效可以快速训练2、无需调参没有梯度消失问题3、高效泛化全局最优解不存在过拟合问题几乎全方位的碾压神经网络。5、几乎在这10几年的时间只有Hinton等几位学者在研究神经网络。直到2006年提出了深度置信网络概念有一个预训练的过程。使用微调技术作为反向传播和调优手段。减少了网络训练时间并且提出了一个新的概念叫做深度学习6、直到2012年在ImageNet竞赛中Hinton教授的团队使用以卷积神经网络为基础的深度学习方案他们训练的模型面对15万张测试图像时预测的头五个类别的错误率只有 15.3%而排名第二的日本团队使用的SVM方法构建的模型相应的错误率则高达 26.2%。从此一战成名2012年后深度学习就成为主流。
2.2.4 总结
神经网络的定义感知机与神经网络的联系神经网络的发展历史
