寻找电子商务网站建设,实名制认证网站,推广公司的网站,技术支持广州网站建设回顾小夕在文章《逻辑回归》中详细讲解了逻辑回归模型#xff0c;又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义#xff08;代表二类分类问题中#xff0c;其中一个类别的后验概率#xff09;。至此#xff0c;我们已经比较透彻的理解了逻辑回归模型假设函数(也… 回顾小夕在文章《逻辑回归》中详细讲解了逻辑回归模型又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义代表二类分类问题中其中一个类别的后验概率。至此我们已经比较透彻的理解了逻辑回归模型假设函数(也就是用于预测类别的函数)。纯从计算顺序上来说逻辑回归预测类别的顺序即1. 输入样本X与模型参数作内积结果记为z2. 将中间结果z输入到Sigmoid函数输出为0到1之间的一个数a在前两文中已经证明了这个a即其中一个类的后验概率 然后小夕要将上面的过程画出来。这里假设输入的样本X是4维的即因此模型参数也是4维即。为了方便本文中忽略偏置项b的问题啦自行脑补上。然后blingling~释放小仙女的仙气~~ 如上图黑色圈圈代表原始的输入即4维的特征向量。连接边代表模型参数当然这里用w表示啦代表weight即特征向量每一维度的权重。权重的末端即X与的内积结果即z也是Sigmoid函数的输入。粉色圈圈即Sigmoid函数。输入z经过粉色圈圈后生成a即某一类别的后验概率。一个奇怪的idea 诶你们有没有想过同样对于二类分类任务我们如果将多个逻辑回归分类器的输出作为另一个逻辑回归分类器的输入并让这个逻辑回归分类器负责输出分类任务的类别。比如我们用3个逻辑回归分类器的输出作为另1个逻辑回归分类器的输入blingling施展魔法蓝色的逻辑回归分类器和粉色的逻辑回归分类器的输出和就是绿色的逻辑回归分类器的输入。好像句子有点长诶绿色的逻辑回归分类器的输出就是二类分类任务中一个类别的后验概率。 诶等等想法看起来是没错虽然绿色的逻辑回归分类器的分类任务很明确就是我们最终的分类任务。但是蓝色和粉色的分类任务是什么呢或者说它们输出的后验概率和到底是什么类别的后延概率呢 答不知道。 是真的不知道啊。。。这一次不是小夕调皮了是真的不知道。不是小夕不知道而是全世界都不知道。更严谨的说除了通过实验观测的方式可以看懂极少部分模型的这里的类别的含义外绝大部分情况下这就是个黑匣子只有计算机心里自己清楚。 哎不管啦我们暂且不管蓝色和粉色的分类器的分类任务是什么就由它自己作吧~我们继续。那么问题来了既然同样都是做二类分类我们为什么大费周章用这么多逻辑回归分类器最终还是输出某个类的后验概率呢 还记不记得逻辑回归是一个线性分类器逻辑回归模型本质上就是用yWXb这个函数画决策面而这个函数当然就是2维/3维/更高维空间的直线/平面/超平面因此当然是线性分类器啦。 因此对于下面这个分类任务黑色是类别0的样本红色是类别1的样本单个逻辑回归分类器的决策面最多只能画成这样子了。 然而这个分类任务很明显决策面不是这样子的呀于是我们上面DIY自行设计的这个“多逻辑回归组合的模型”要起作用了蓝色的逻辑回归分类器或许可以学习到如下的决策面 粉色的逻辑回归分类器或许可以学习到如下决策面 绿色的逻辑回归分类器将蓝色和粉色的决策结果结合起来画出最终的如下决策面 看~本来线性的逻辑回归分类器经过组合之后就成了一个复杂的非线性分类器了非常完美的画出了复杂的决策边界 那么这个这么好用的模型叫什么名字呢当然就是神经网络神经网络blingling登场了~ 将上面我们DIY的模型对着下面标准的神经网络模型对号入座吧 我们DIY模型中的特征向量X在这里依然是X被称为输入层也是神经网络的第1层。我们DIY模型中的蓝色和粉色逻辑回归分类器的Sigmoid输入、Sigmoid函数、Sigmoid输出在这里都放在了隐单元和输出单元中。但是我们DIY的模型中的Sigmoid函数在神经网络中被称为激活函数以后会讲含义而且SIgmoid并不是唯一合适的激活函数。当然啦我们前面说了蓝色逻辑回归分类器和粉色逻辑回归分类器的分类任务就是个黑匣子根本不知道它输出的后验概率是什么类别的后验概率。所以说在神经网络中隐单元的数量一般也只能凭借经验或者交叉验证等非科学手段来确定。各个隐单元组成的这一层被称为隐含层。 最后的输出单元实际上也是跟前面一样只不过在神经网络中更习惯于画成下面的样子让每个输出单元代表一个类别当然本质上是一样的东西啦。我们DIY模型中的各个逻辑回归分类器的模型参数在这里被称为各层之间各个神经元之间连接边的权重。这里的连接边Wkji就代表第k层到第k1层之间第k层的第i个神经元到第k1层的第j个神经元之间的连接权重这个权重跟逻辑回归中的含义一样这里代表两个神经元之间的连接强弱。将其中一个隐单元点开看大图看吧~跟我们DIY的逻辑回归模型一模一样就是输入X与权重W即逻辑回归中的参数做内积得到z再丢入Sigmoid函数出来a。over看吧神经网络并不是小白教程中找几个圈圈连一连然后跑个BP算法就完事的孤立模型。没有想到它竟然跟逻辑回归有这么一腿吧(∇)更多疑问诶那这个复杂的模型如何训练呢激活函数为什么叫激活函数呢这个模型又为什么叫神经网络呢在神经网络中我们可不可以不局限在逻辑回归模型里呢比如我们不用Sigmoid作为激活函数了采用其他形式的函数作为激活函数可以吗其他激活函数又各会带来什么新特性呢在神经网络中我们可不可以增加更多隐含层呢相当于级联更多层的分类器诶有深度学习的味道了 另外如果我们要用神经网络做多类分类的话又该怎么办呢会跟Softmax有关吗 众多疑惑和猜想待小夕为你一一解开。敬请期待本系列的后续文章吧~
