公司做网站能抵扣进项税吗,门户网站的好处,邯郸网站设计注册,园林设计公司吴恩达《机器学习》学习笔记九——神经网络相关#xff08;1#xff09;一、 非线性假设的问题二、 神经网络相关知识1.神经网络的大致历史2.神经网络的表示3.前向传播#xff1a;向量化表示三、 例子与直觉理解1.问题描述#xff1a;异或XOR、同或XNOR2.单个神经元如何计算…
吴恩达《机器学习》学习笔记九——神经网络相关1一、 非线性假设的问题二、 神经网络相关知识1.神经网络的大致历史2.神经网络的表示3.前向传播向量化表示三、 例子与直觉理解1.问题描述异或XOR、同或XNOR2.单个神经元如何计算逻辑函数以AND、OR为例3.多层神经网络计算复杂函数四、 神经网络实现多分类课程链接https://www.bilibili.com/video/BV164411b7dx?fromsearchseid5329376196520099118
前面的几次笔记较详细地学习了机器学习里有监督学习的两个最具代表性的模型分别是解决回归问题的线性回归以及解决分类问题的逻辑回归。这两个模型最初的形态都是线性的但是由于问题的复杂性它们又可以推广到非线性的形态即多一些高次幂项特征。这次笔记就由此非线性假设函数引入学习神经网络的相关知识。如今人工智能能够得到如此的发展神经网络可以说是功不可没。
一、 非线性假设的问题
首先课程中提出的问题是既然已经有了线性回归和逻辑回归来分别解决回归和分类问题即使是较为复杂的问题也可以推广假设函数到非线性形式来解决那么为什么还要学习神经网络呢
那么我们就来看一看非线性假设存在的问题 如上图所示是一个非线性的分类问题数据样本有两个特征x1和x2那么要分类这样的数据集假设函数就需要设置成如图中所示以此来达到非线性决策边界的目标。这样做唯一的代价就是通过特征映射将原来两个特征变成了多项非线性特征看起来没有太大问题。
我们可以回顾一下笔记七中特征映射的代码最高次幂设置成了6次特征的数量从原来的2个变成了28个当时的计算量看似也不大也能得到较好的结果。
但是问题就在于很多情况特征的数量远远不止2个上百上千上万甚至百万的都很常见如果都通过这样特征映射将线性变成非线性假设去解决非线性问题那么特征映射后的特征数量将飞速变大。
举一个有100个特征的例子 它的一次幂特征项是100个而二次幂特征项就已经有5000个 再看三次幂项有170000个 就不往更高次幂算了只会更加庞大而很多问题需要用到高次幂的项。
所以当初始特征数量很大时将其映射到高阶特征项特征空间将会急剧膨胀可能会带来严重的过拟合问题以及沉重的计算和存储负担。所以用这种特征映射的方法来建立非线性模型并不是一种好方法。
课程中还提供了CV领域图像分类的一个例子 假设一张图像数据包含2500个特征每个像素算一个用逻辑回归的这种非线性假设的方法仅仅算二次幂的特征数量都已经有三百万个而50*50的图像已经算是很小的图片所以这种方法过于简单粗暴特征数一大就会非常吃力。
而神经网络很好的克服了这个问题即使初始特征空间庞大也能很好的求解。
二、 神经网络相关知识
1.神经网络的大致历史 神经网络起初是一种模仿人脑运行机制的算法。曾在80年代以及90年代早期比较流行但是因为一些原因在90年代末又沉寂了下去。而近些年神经网络在各大领域上的应用又使得它流行起来主要是因为计算性能的飞速发展使得计算机可以支持神经网络计算的庞大数据量。目前许多领域最新技术都会应用到神经网络的知识。
2.神经网络的表示
人脑的自然神经网络的运行原理如下图所示 如图所示为一个神经元结构主要包括三个部分
树突信号的输入部分其他神经元的信号经过树突来接收 细胞体许多外来信号经过树突传入后由细胞体处理并产生一个输出信号即反应 轴突信号的输出端。神经元可以看成是一个计算单元对众多外来信号进行处理后产生一个输出。
而机器学习中的神经网络模型是指人工神经网络就是模仿自然神经网络构造了功能相似的计算单元如下图所示 x1x2x3分别是计算单元的输入黄色的圆圈是计算中心h(x)是输出的计算结果。这边具体输出什么形式的函数被称之为激活函数此处激活函数是sigmoid函数的形式。以sigmoid函数这个例子为例黄色圆圈首先计算的是z θ ^ T x然后用sigmoid激活函数进行的计算是g(z) 1/(1 e^(-z))最后的输出也就是g(z)。黄色圆圈包含了计算z和g(z)的两部分其中的计算涉及到一些参数那么优化神经网络模型的过程就是优化这些参数的过程这些参数也叫权重weights。
以上是单个的神经元那么与人脑类似多个神经元可以组合成神经网络其结构如下图所示 第一列被称为输入层它都是输入的数据最后一层被称为输出层而中间的被称为隐藏层不论是一层还是多层统称为隐藏层。隐藏层中包含了要优化的参数。
我们看一下它具体是怎么工作的如下图所示 首先定义a_i ^ (j)是第 j 层第 i 个计算单元的激活器θ ^ (j)是从第 j 层映射到第 j1 层的权重矩阵如果第 j 层有 s_j 个计算单元第 j1 层有 s_(j1) 个计算单元那么θ^(j)的维度是 s_(j1) × (s_j1) 。这边的1是指偏置项x0。
然后看图中的一些计算过程每一层都要按照激活函数来计算结果直到计算到最后一层的输出如果层数较多那么也要一层层的嵌套计算下去。
3.前向传播向量化表示 为了实现向量化表示将第一个式子里的 表示为z_1 ^ (2)与此相似第二、三个式子里的部分也分别表示为z_2 ^ (2) 、z_3 ^ (2)。而且我们将输入x与参数进行向量化 那么z ^ (2) 、a ^ (2)都将进行向量化这里z ^ (2) 、a ^ (2)都是三维向量 这边的x向量也可以看作是a ^ (1)向量以上是输入层到隐藏层的计算过程下面再看一下由隐藏层推到输出层的计算其实与之前的计算非常类似 上面的这种由输入层一层层往输出层计算输出的过程称之为前向传播从向量化的形式来看是一次次嵌套计算的过程。
这种前向传播的方法也可以帮助我们了解神经网络的作用以及它为什么能够学习非线性假设函数。将上面提到的神经网络的输入层遮住如下图所示 剩下的结构其实就是一个逻辑回归的模型假设函数如图中所示只是逻辑回归单元得到的输入不是真正数据的输入而是隐藏层的计算结果而这些隐藏层的计算结果是通过前面层学习得到的函数输入值具体来讲就是它们是从第一层映射到第二层的函数中学习到的结果这个函数由前面的参数θ^((1))决定。
总结一下神经网络中没有直接使用输入x来训练逻辑回归而是自己先训练逻辑回归的输入a这个过程中因为θ^(1)选择的不同参数有时可以学习到一些复杂、有趣的特征这样就可以得到一个更好的假设函数比直接使用原始输入数据得到的假设函数更好。
再看一个层数更多的例子第二层先学习了一些原始数据的特征第三层再学习第二层的特征第四层则可以根据前两层抽象过的特征进行拟合得到的假设函数更加复杂。第一层还叫输入层最后一层还叫输出层中间层都叫隐藏层。
三、 例子与直觉理解
通过一个例子来详细地介绍神经网络是如何计算复杂非线性函数的输入的帮助理解为什么神经网络可以用来学习复杂的非线性假设模型。
1.问题描述异或XOR、同或XNOR
下面是一个非线性的分类例子同或这个问题的数据分布如下图所示特征x1和x2都只能取0/1当x1和x2同为0或同为1时类别为1反之为0这个问题不能用线性的模型来解决需要非线性的决策边界来划分也就是需要非线性的假设函数。
2.单个神经元如何计算逻辑函数以AND、OR为例 输入特征x1和x2的取值只能是0/1寻找一个假设函数使得经过神经元后的预测结果和真值表的结果匹配。图中给定了模型的结构单个神经元其实也可以看作是逻辑回归参数如图中所示为-302020则假设函数或者说神经元的输出为h(x)g(-3020x_120x_2)。将x1和x2的可能取值组合一一代入得到预测结果为0001与真值表的结果完全符合。
下面看另一个线性的例子 OR的计算原理和过程类似上面的AND模型不再赘述。
从这两个例子可以看到神经网络中的单个神经元是如何用来计算逻辑函数的比如上面的AND和OR。下面将介绍一个拥有多层神经元的神经网络是如何被用来计算更复杂的函数的比如XOR或XNOR。
3.多层神经网络计算复杂函数
首先有三个单个神经元的模型如下图所示 它们分别能解决三个不同的逻辑计算。
为了能解决更复杂的问题将它们组合到一起变成一个三层的神经网络如下图所示 红色、蓝色和绿色的神经元分别对应上面的三个功能看右边的真值表变化这样组合的一个三层神经网络就完成了非线性的同或XNOR问题。
还能这样理解输入都放在输入层然后在中间放一个隐藏层用来计算一些关于输入的略微复杂的功能然后再增加一层用于计算一个更复杂的非线性函数。这就是为什么神经网络可以计算这种复杂的函数。 在一层层往后计算的过程中能够计算的函数也会越来越复杂。
四、 神经网络实现多分类
多输出单元一对多 这是一个图片分类的例子需要将图片分成行人、汽车、摩托车和货车四类。相应地建立了一个具有四个输出单元的神经网络所以输出是一个四维向量这四个神经元的作用分别为判断图中是否为行人、图中是否为汽车、图中是否为摩托车、图中是否为货车。如果为行人输出向量为[1 0 0 0]如果为汽车则为[0 1 0 0]以此类推。只是这里数据集中的标签y也要表示成一个四维向量才能与预测结果h(x)匹配。
