医疗企业网站模板免费下载,上海网站seo排名,OA网站建设分析,wordpress 啊树本文转自#xff1a;
神经网络入门 - 阮一峰的网络日志https://www.ruanyifeng.com/blog/2017/07/neural-network.html 眼下最热门的技术#xff0c;绝对是人工智能。
人工智能的底层模型是神经网络#xff08;neural network#xff09;。许多复杂的应用
神经网络入门 - 阮一峰的网络日志https://www.ruanyifeng.com/blog/2017/07/neural-network.html 眼下最热门的技术绝对是人工智能。
人工智能的底层模型是神经网络neural network。许多复杂的应用比如模式识别、自动控制和高级模型比如深度学习都基于它。学习人工智能一定是从它开始。 什么是神经网络呢网上似乎缺乏通俗的解释。
前两天我读到 Michael Nielsen 的开源教材《神经网络与深度学习》Neural Networks and Deep Learning意外发现里面的解释非常好懂。下面我就按照这本书介绍什么是神经网络。
这里我要感谢优达学城的赞助本文结尾有他们的《前端开发进阶》课程的消息欢迎关注。 一、感知器
历史上科学家一直希望模拟人的大脑造出可以思考的机器。人为什么能够思考科学家发现原因在于人体的神经网络。 外部刺激通过神经末梢转化为电信号转导到神经细胞又叫神经元。无数神经元构成神经中枢。神经中枢综合各种信号做出判断。人体根据神经中枢的指令对外部刺激做出反应。既然思考的基础是神经元如果能够人造神经元artificial neuron就能组成人工神经网络模拟思考。上个世纪六十年代提出了最早的人造神经元模型叫做感知器perceptron直到今天还在用。 上图的圆圈就代表一个感知器。它接受多个输入x1x2x3...产生一个输出output好比神经末梢感受各种外部环境的变化最后产生电信号。
为了简化模型我们约定每种输入只有两种可能1 或 0。如果所有输入都是1表示各种条件都成立输出就是1如果所有输入都是0表示条件都不成立输出就是0。 二、感知器的例子
下面来看一个例子。城里正在举办一年一度的游戏动漫展览小明拿不定主意周末要不要去参观。 他决定考虑三个因素。 天气周末是否晴天同伴能否找到人一起去价格门票是否可承受这就构成一个感知器。上面三个因素就是外部输入最后的决定就是感知器的输出。如果三个因素都是 Yes使用1表示输出就是1去参观如果都是 No使用0表示输出就是0不去参观。 三、权重和阈值
看到这里你肯定会问如果某些因素成立另一些因素不成立输出是什么比如周末是好天气门票也不贵但是小明找不到同伴他还要不要去参观呢
现实中各种因素很少具有同等重要性某些因素是决定性因素另一些因素是次要因素。因此可以给这些因素指定权重weight代表它们不同的重要性。 天气权重为8同伴权重为4价格权重为4上面的权重表示天气是决定性因素同伴和价格都是次要因素。
如果三个因素都为1它们乘以权重的总和就是 8 4 4 16。如果天气和价格因素为1同伴因素为0总和就变为 8 0 4 12。
这时还需要指定一个阈值threshold。如果总和大于阈值感知器输出1否则输出0。假定阈值为8那么 12 8小明决定去参观。阈值的高低代表了意愿的强烈阈值越低就表示越想去越高就越不想去。
上面的决策过程使用数学表达如下。 上面公式中x表示各种外部因素w表示对应的权重。 四、决策模型
单个的感知器构成了一个简单的决策模型已经可以拿来用了。真实世界中实际的决策模型则要复杂得多是由多个感知器组成的多层网络。 上图中底层感知器接收外部输入做出判断以后再发出信号作为上层感知器的输入直至得到最后的结果。注意感知器的输出依然只有一个但是可以发送给多个目标。
这张图里信号都是单向的即下层感知器的输出总是上层感知器的输入。现实中有可能发生循环传递即 A 传给 BB 传给 CC 又传给 A这称为递归神经网络recurrent neural network本文不涉及。 五、矢量化
为了方便后面的讨论需要对上面的模型进行一些数学处理。 外部因素 x1、x2、x3 写成矢量 x1, x2, x3简写为 x权重 w1、w2、w3 也写成矢量 (w1, w2, w3)简写为 w定义运算 w⋅x ∑ wx即 w 和 x 的点运算等于因素与权重的乘积之和定义 b 等于负的阈值 b -threshold感知器模型就变成了下面这样。 六、神经网络的运作过程
一个神经网络的搭建需要满足三个条件。 输入和输出权重w和阈值b多层感知器的结构也就是说需要事先画出上面出现的那张图。 其中最困难的部分就是确定权重w和阈值b。目前为止这两个值都是主观给出的但现实中很难估计它们的值必需有一种方法可以找出答案。
【模型训练】
这种方法就是试错法。其他参数都不变w或b的微小变动记作Δw或Δb然后观察输出有什么变化。不断重复这个过程直至得到对应最精确输出的那组w和b就是我们要的值。这个过程称为模型的训练。 因此神经网络的运作过程如下。 确定输入和输出找到一种或多种算法可以从输入得到输出找到一组已知答案的数据集用来训练模型估算w和b一旦新的数据产生输入模型就可以得到结果同时对w和b进行校正可以看到整个过程需要海量计算。所以神经网络直到最近这几年才有实用价值而且一般的 CPU 还不行要使用专门为机器学习定制的 GPU 来计算。 七、神经网络的例子
下面通过车牌自动识别的例子来解释神经网络。 所谓车牌自动识别就是高速公路的探头拍下车牌照片计算机识别出照片里的数字。 这个例子里面车牌照片就是输入车牌号码就是输出照片的清晰度可以设置权重w。然后找到一种或多种图像比对算法作为感知器。算法的得到结果是一个概率比如75%的概率可以确定是数字1。这就需要设置一个阈值b比如85%的可信度低于这个门槛结果就无效。
一组已经识别好的车牌照片作为训练集数据输入模型。不断调整各种参数直至找到正确率最高的参数组合。以后拿到新照片就可以直接给出结果了。 八、输出的连续性
上面的模型有一个问题没有解决按照假设输出只有两种结果0和1。但是模型要求w或b的微小变化会引发输出的变化。如果只输出0和1未免也太不敏感了无法保证训练的正确性因此必须将输出改造成一个连续性函数。
这就需要进行一点简单的数学改造。
首先将感知器的计算结果 wx b记为z。 z wx b然后计算下面的式子将结果记为σ(z)。 σ(z) 1 / (1 e^(-z))这是因为如果z趋向正无穷z → ∞表示感知器强烈匹配那么σ(z) → 1如果z趋向负无穷z → -∞表示感知器强烈不匹配那么σ(z) → 0。也就是说只要使用σ(z)当作输出结果那么输出就会变成一个连续性函数。
原来的输出曲线是下面这样。 现在变成了这样。 实际上还可以证明Δσ满足下面的公式。 即Δσ和Δw和Δb之间是线性关系变化率是偏导数。这就有利于精确推算出w和b的值了。
