企业门户网站有哪些,门户网站开发如何提高产品排名,wordpress写文章本地上传图片,商城网站模板框架目录 一、前言二、神经网络的架构——以手写数字识别三、神经网络的工作1、单输入单输出感知器函数2、二维输入参数3、三维输入参数 四、激活函数1、激活函数2、ReLU激活函数3、非线性激活函数#xff08;1#xff09;二输入二输出的神经网络的架构#xff08;2#xff09;… 目录 一、前言二、神经网络的架构——以手写数字识别三、神经网络的工作1、单输入单输出感知器函数2、二维输入参数3、三维输入参数 四、激活函数1、激活函数2、ReLU激活函数3、非线性激活函数1二输入二输出的神经网络的架构2方程矢量化3设置不同的权重矩阵和偏置因子4其他矩阵变换 4、线性激活函数和非线性激活函数 一、前言 在大多数资料中神经网络都被描述成某种正向传播的矩阵乘法。而本篇博文通过将神经网络描述为某种计算单元以一种更加简单易懂的方式介绍神经网络的功能及应用。 二、神经网络的架构——以手写数字识别 广义上讲神经网络就是要在输入数据中找寻某种规律就像这个经典的例子手写数字识别。即给定一个手写数字图像如何识别图像中的是数字几呢神经网络通过对大量带标签图像的训练找到其中的规律进而解决手写数字识别问题。 我们将手写数字图像的像素值作为神经网络的输入然后通过隐藏层处理最终输出层有10个对应类别。我们选取输出层中最大值的神经元作为最终的识别结果。 有了这些信息神经网络就能够对从未见过的图像进行分类这是它的用处所在。也就是说我们不仅能够用神经网络对函数进行建模还可以用其对数据进行分类。 神经网络是一种分层结构它有输入层、隐藏层和输出层其每一层都有许多神经元组成。此例中输入层是由图像的像素值组成28*28784。由于每个数字只有10种可能所以输出层将有10个神经元用来表示识别到的数字。隐藏层的层级以及其神经元的个数都要通过反复试验来确定。 三、神经网络的工作
1、单输入单输出感知器函数 神经网络到底是如何工作的呢让我们从最简单的单输入单输出网络开始讲起。假设这个神经网络是用来将天气分为好坏两种类型假定输出为1时表示好天气0表示坏天气这种输出二值型的神经网络也叫感知器。 可以把感知器想象成一个开关如果打开它就输出1否则输出0。假设温度高于20℃时为好天气。该例的输入空间就是一维的就像一条数轴决策边界就是在20℃处画一条线任何大于或等于20℃的输入都将激活感知器。而对于低于20℃的输入感知器都出于未激活状态。 实际上当我们训练一个神经网络时我们所作的就是确定这些边界的位置。让我们讨论一下为什么其输出可以表示成yH(x-20)这种形式。其中H代表跃迁函数当x≥0时其输出为1当x≤0时其输出为0.即正1负0。而H(x-20)则表示当x-20≥0时其输出为1当x-200时其输出为0。如果我们假设超过20℃为坏天气则相应的式子变为yH(-x20)即可。 通常我们可以将单输入单输出的感知器函数写作yH(wxb)。 2、二维输入参数 如果我们在例子中再添加一个输入也就是说确定天气是否糟糕要看温度和湿度两个指标。这时相当于给输入空间增加了一个维度即输入空间变为二维的了。 即当我们假定当温度或湿度值较大时则为坏天气反之为好天气。我们可以再输入空间划上一条直线在其上方的点输出1其下方点输出0。此时输出函数则可以写成yH(w1x1w2x2b)此时的决策边界可以看做是一个平面其与输入平面相交形成一条分界线。 我们也可以将上式写作矩阵相乘的形式 我们可以用W来代替矩阵用x代替向量。从专业的角度讲W为权重矩阵b为偏置 3、三维输入参数 三维的情况也能够描述比如我们再考虑风速的影像。现在输入就是三维的了所以决策边界可以用一个超平面来表示。此时的输入矩阵是3*1的式子的输出任然是0或1。 一般来说神经元的输入x是一个多维向量然后将其乘以一个权重矩阵然后加上偏置再传给激活函数最终得到神经元的输出。此例中激活函数使用的是跃迁函数。 四、激活函数
1、激活函数 让我们再看看其他激活函数。有时候连续输出会比这种二值输出函数更有用。也就是说比如传递给激活函数的值是0.0001虽然它非常接近0但跃迁函数还是输出1。我们可以用这种函数来产生连续的输出 我们可以将该激活函数的输出看作频率。如果该激活函数的输出为0.5那么我们可以预测该事件发生的概论为50%。我们之所以能将其看作概率是因为该激活函数的输出值在0到1之间。 2、ReLU激活函数 另一个常用的激活函数是ReLU。ReLU有两部分输入为负输出为0输入为正输出为输入本身即max(0,x)。ReLU常用于神经网络的隐藏层中。需要注意的是这些函数都不是线性的这点非常重要。 至此我们有了一个可以用来划分数据的模型。如果我们的数据集变得越发复杂时该怎么办呢 3、非线性激活函数 以这个数据集为例子我们希望创建一个模型在给定x和y坐标的情况下来预测该点的颜色。我们可以用一个两个输入的感知器来完成其决策边界如上方的黄线所示我们称这种类型的数据集是线性可分的。 但如果我们的数据集变成这种样子此时就不能用一条线性函数来作划分了。 我们可以组合多个神经元利用其激活函数的非线性就能构造出非常复杂的决策边界。为了理解神经网络是如何工作的让我们来看一个两输入两输出的神经网络
1二输入二输出的神经网络的架构 首先来看第一个输出神经元其输出为yσ(w11x1w12x2b)其中激活函数选择sigma。权重的第一个下标表示该神经元在本层的序号第二个下标为其输入在上一层的序号。类似的我们可以写出第二个输出神经元的输出表达式。有没有办法将这两个方程合二为一呢 2方程矢量化 首先我们可以对方程进行矢量化将输入输出都写成向量形式。此时我们再将系数转换为矩阵形式即权重矩阵。这样我们就能将其推广到任意数量的输入、输出神经元中了。 3设置不同的权重矩阵和偏置因子 此外我们可以对每一层都使用相同的方程差别仅仅是各层的权重矩阵和偏置因子不同。现在让我们在这两者之间加一个隐藏层该层的输入输出关系如上所示。 4其他矩阵变换 注意隐藏层使用的激活函数是ReLU也可以使用其他的激活函数比如sigmoid。接下来就是输出层的关系表达式了矩阵与向量相乘其实质就是线性变换。现在让我们先忽略激活函数只考虑Wxb的结果。如何理解线性变换呢我们可以将矩阵的第一列看成线性变换后的单位向量i矩阵的第二列为线性变换后的单位向量j。在线性变换中我们只允许进行旋转、缩放、翻转等操作即线性变换后坐标原点保持不变。 4、线性激活函数和非线性激活函数 回到神经网络假设该神经网络权值和偏置已经进行随机初始化了。首先让我们从输入数据集开始本例中它是一个正方形中均匀分布的一组点 第一个操作时乘以权重矩阵这是一个线性变换(旋转、缩放、翻转等操作的组合)。接下来加上权重因子可以将其理解为平面内的移动。 现在我们来看激活函数这里我们使用的是ReLU作为激活函数也就是说任何负的输出都是0只留下正的部分。显然第一象限是唯一一个符合要求的象限ReLU会将其他象限的值映射到第一象限上其结果就剩下第一象限这一块了。注意若采用线性变换你将无法得到这样的结果 这就是激活函数非线性的重要性它能够帮助我们构造复杂的决策边界。接着我们再乘以一个矩阵加上偏置最后sigmoid函数将其压缩至这个单元格中因为sigmoid函数的输出是0到1之间的值。 我们也可以在三维空间中进行上述变换例如有一个神经网络其隐藏层有三个神经元假定权值与偏置都已随机初始化了。 本例的数据集也是平面中一个正方形内均匀分布的一组点但现在我们是要将其映射到三维空间中(隐藏层有三个神经元)。我们将平面旋转然后增加一个维度然后我们就可以将其乘以权重矩阵(也就是线性变换)再加上偏置。然后我们再实现ReLU只保留输入中为正的部分。二维时其输出只再第一象限推广到三维其输出只在第一卦限。因此我们将其他卦限上的点都折叠到第一卦限上来 然后我们接着进行下一个线性变换并添加偏置。注意用线性变换永远得不到如下的图像 这也再次强调了激活函数非线性的重要性它能帮助我们建立复杂的决策模型。
