生物科技网站模板,建设电子商务网站需要什么,网络运营工作内容,路由硬盘做网站空间不一、介绍 您知道第一个神经网络是在 20 世纪 50 年代初发现的吗#xff1f; 深度学习 (DL) 和神经网络 (NN) 目前正在推动本世纪一些最巧妙的发明。他们从数据和环境中学习的令人难以置信的能力使他们成为机器学习科学家的首选。 深度学习和神经网络是自动驾驶汽车、图像识别软… 一、介绍 您知道第一个神经网络是在 20 世纪 50 年代初发现的吗 深度学习 (DL) 和神经网络 (NN) 目前正在推动本世纪一些最巧妙的发明。他们从数据和环境中学习的令人难以置信的能力使他们成为机器学习科学家的首选。 深度学习和神经网络是自动驾驶汽车、图像识别软件、推荐系统等产品的核心。显然它是一种强大的算法对各种数据类型也具有高度适应性。 人们认为神经网络是一个极其难学的课题。因此要么他们中的一些人不使用它要么使用它的人将其用作黑匣子。在不知道如何完成某件事的情况下做这件事还有意义吗不 在本文中我试图用简单的语言解释神经网络的概念。理解这篇文章需要一点生物学知识和很大的耐心。读完本文后您将成为一名自信的分析师准备开始使用神经网络。如果有什么不明白的地方可以在评论区留言。 注意本文最适合数据科学和机器学习领域的中级用户。初学者可能会发现它具有挑战性。 二、目录 介绍什么是神经网络单个神经元如何工作 示例 1与示例 2或示例 3NOT为什么多层网络有用 情况1X1 XNOR X2 (A.B) (AB)情况 2 X1 XNOR X2 NOT [ (AB).(AB) ]神经网络的一般结构反向传播经常问的问题尾注 三、什么是神经网络 神经网络NN也称为人工神经网络因其对人类神经系统工作的人工表示而得名。还记得这张图吗我们大多数人都在高中接受过教育 闪回回顾让我们首先了解我们的神经系统是如何工作的。 神经系统 由数百万个神经细胞或神经元组成。神经元具有以下结构 主要组成部分是 树突 - 它以电脉冲的形式从其他神经元获取输入Cell Body – 它根据这些输入产生推论并决定采取什么行动轴突终端– 以电脉冲形式传输输出 简单来说每个神经元通过树突从许多其他神经元获取输入。然后它对输入执行所需的处理并通过公理将另一个电脉冲发送到终端节点从那里传输到许多其他神经元。 ANN 的工作方式非常相似。神经网络的一般结构如下所示来源 该图描绘了一个典型的神经网络其中单独解释了单个神经元的工作。让我们来理解这一点。 每个神经元的输入就像树突。就像人类神经系统一样神经元尽管是人工的整理所有输入并对它们执行操作。最后它将输出传输到与其连接的所有其他神经元下一层。神经网络分为 3 种类型的层 输入层 训练观察结果通过这些神经元馈送隐藏层 这些是输入和输出之间的中间层帮助神经网络学习数据中涉及的复杂关系。输出层 最终输出是从前两层中提取的。例如如果分类问题有 5 个类别则稍后的输出将有 5 个神经元。 让我们首先通过示例研究每个神经元的功能。 四、单个神经元如何工作 在本节中我们将通过简单的示例探讨单个神经元的工作原理。这个想法是让您直观地了解神经元如何使用输入计算输出。典型的神经元如下所示 不同的组件是 x 1 , x 2 ,…, x N 神经元的输入。这些可以是来自输入层的实际观察值也可以是来自隐藏层之一的中间值。x 0 偏置单位。这是添加到激活函数输入的常数值。它的工作原理与截距项类似通常具有 1 值。w 0 ,w 1 , w 2 ,…,w N 每个输入的权重。请注意即使是偏差单位也有权重。a 神经元的输出计算公式为 这里f是已知的激活函数。这使得神经网络极其灵活并具有估计数据中复杂非线性关系的能力。它可以是高斯函数、逻辑函数、双曲函数甚至在简单情况下可以是线性函数。 让我们使用神经网络实现 3 个基本功能 – OR、AND、NOT。这将帮助我们了解它们是如何工作的。您可以假设这些就像一个分类问题我们将预测不同输入组合的输出0 或 1。 我们将使用以下激活函数对它们进行建模就像线性分类器一样 示例 1与 AND 函数可以实现为 该神经元的输出为 a f(-1.5 x1 x2 ) 此实现的真值表是 到这里我们可以看到AND函数已经成功实现了。列“a”符合“X1 AND X2”。请注意此处偏差单位权重为-1.5。但这不是一个固定值。直观上我们可以将其理解为只有当x 1和x 2都为正时使得总值为正的任何东西。所以 (-1,-2) 之间的任何值都可以。 示例 2或 OR 函数可以实现为 该神经元的输出为 a f(-0.5 x1 x2 ) 此实现的真值表是 列“a”符合“X1 OR X2”。我们可以看到仅仅通过改变偏置单元权重我们就可以实现一个OR函数。这与上面的非常相似。直观上你可以理解这里的偏置单位是这样的如果x1或x2中的任何一个变为正值则加权和将为正值。 示例 3NOT 就像前面的情况一样NOT 函数可以实现为 该神经元的输出为 a f( 1 – 2*x1 ) 此实现的真值表是 再次符合期望值证明了功能。我希望通过这些示例您能够对神经网络内的神经元如何工作有一些直观的了解。这里我使用了一个非常简单的激活函数。 注意通常 会使用逻辑函数来代替我在这里使用的函数因为它是可微的并且可以确定梯度。只有 1 个捕获点。也就是说它输出的是浮点值而不是精确的 0 或 1。 五、为什么多层网络有用 在了解单个神经元的工作原理之后让我们尝试了解神经网络如何使用多层来建模复杂的关系。为了进一步理解这一点我们将以XNOR 函数为例。回顾一下XNOR 函数的真值表如下所示 在这里我们可以看到当两个输入相同时输出为 1否则为 0。这种关系无法使用单个神经元进行建模。不相信我尝试一下因此我们将使用多层网络。使用多层背后的想法是可以将复杂的关系分解为更简单的函数并进行组合。 让我们分解一下 XNOR 函数。 X1 XNOR X2 NOT ( X1 XOR X2 ) NOT [ (AB).(AB) ] 注意这里 表示 OR. 表示 AND (AB) (AB) (A.B) (AB) 现在我们可以使用任何简化的情况来实现它。我将通过两个案例向您展示如何实现这一点。 情况1X1 XNOR X2 (A.B) (AB) 这里的挑战是设计一个神经元来建模 A.B 。这可以使用以下内容轻松建模 该神经元的输出为 a f( 0.5 – x1 – x2 ) 该函数的真值表为 现在我们已经对各个组件进行了建模我们可以使用多层网络将它们组合起来。首先让我们看一下该网络的语义图 这里我们可以看到在第 1 层我们将分别确定 A.B 和 AB。在第 2 层中我们将获取它们的输出并在顶部实现 OR 函数。这将完成整个神经网络。最终的网络如下所示 如果你仔细观察这只不过是我们已经绘制的不同神经元的组合。不同的输出代表不同的单位 a 1 :实现 A.Ba 2 :实现ABa 3实现适用于 a1 和 a2 的 OR因此有效 (A.B AB) 可以使用真值表验证功能 我想现在您可以对多层的工作原理有一些直观的了解。让我们对同一案例进行另一个实现。 情况 2 X1 XNOR X2 NOT [ (AB).(AB) ] 在上面的例子中我们必须分别计算A.B。如果我们只想使用基本的 AND、OR、NOT 函数来实现该函数该怎么办考虑以下语义 在这里您可以看到我们必须使用 3 个隐藏层。工作将与我们之前所做的类似。网络看起来像 这里神经元执行以下操作 a 1 :与A相同a 2 :实现 Aa 3 :与B相同a 4 :实现 Ba 5实现 OR实际上是 ABa 6实现 OR实际上是 ABa 7 :有效地实现 AND (AB).(AB)a 8实现 NOT实际上 NOT [ (AB).(AB) ]这是最终的 XNOR 请注意通常一个神经元会馈送到下一层的除偏置单元之外的所有其他神经元。在本例中我消除了从第 1 层到第 2 层的一些连接。这是因为它们的权重为 0添加它们会使视觉上难以掌握。 真值表为 最后我们成功实现了XNOR功能。此方法比情况 1 更复杂。因此您应该始终首选情况 1。但这里的想法是展示如何将复杂的功能分解为多个层。我希望现在多层的优势更加明显。 六、神经网络的一般结构 现在我们已经了解了一些基本示例让我们定义每个神经网络所属的通用结构。我们还将看到在给定输入的情况下确定输出所遵循的方程。这称为 前向传播。 通用神经网络可以定义为 它有 L 层其中 1 个输入层、1 个输出层和 L-2 个隐藏层。术语 L层数N i第i层神经元数量不包括偏置单元其中i1,2,…,La i (j)第 i 层第 j 个神经元的输出其中 i1,2…L | j0,1,2….N i 由于每层的输出形成下一层的输入因此我们定义方程以使用第 i 层的输出作为输入来确定第 i1 层的输出。 第i1层的输入为 A i [ a i (0) , a i (1) , ......, a i (N i ) ]
suze1×N i 1 第i层到第i1层的权重矩阵为 W (i) [ [ W 01 (i) W 11 (i) ....... W N i 1 (i) ][ W 02 (i) W 12 (i) ....... W N i 2 (i) ]……………………[ W 0N i1 (i) W 1N i1 (i) ....... W N i N i1 (i) ] ]尺寸N i1 x N i 1 第i 1层的输出可以计算为 A i1 f( A i .W (i) )
尺寸1×N i1 对每个后续层使用这些方程我们可以确定最终输出。输出层中神经元的数量取决于问题的类型。对于回归或二元分类问题它可以是 1对于多类分类问题它可以是多个。 但这只是确定 1 次运行的输出。最终目标是更新模型的权重以最小化损失函数。权重使用反向传播算法进行更新我们接下来将研究该算法。 七、反向传播 反向传播 (BP) 算法的工作原理是确定输出的损失或误差然后将其传播回网络。更新权重以最小化每个神经元产生的误差。我不会详细介绍该算法但我会尝试让您直观地了解它的工作原理。 最小化误差的第一步是确定每个节点的梯度。最终输出。由于它是一个多层网络确定梯度并不是很简单。 让我们了解多层网络的梯度。让我们从神经网络退后一步考虑一个非常简单的系统如下所示 这里有3个输入简单处理为 d a – b e d * c (ab)*c 现在我们需要确定 a、b、c、d 对于输出 e 的梯度。以下情况非常简单 然而为了确定 a 和 b 的梯度我们需要应用链式法则。 并且通过简单地将节点输入的梯度与该节点输出的梯度相乘来计算梯度。如果你还是一头雾水只要仔细看5遍方程式你就明白了 但实际案例并没有那么简单。我们再举一个例子。考虑将单个输入输入到下一层中的多个项目的情况因为神经网络几乎总是这种情况。 在这种情况下除了“m”之外所有其他的梯度将与上面的示例非常相似因为 m 被馈送到 2 个节点中。在这里我将展示如何确定 m 的梯度其余的你应该自己计算。 在这里你可以看到梯度只是两个不同梯度的总和。我希望乌云正在慢慢消失一切都变得清晰。只要理解这些概念我们就会回到这个话题。 在继续之前让我们总结一下神经网络优化背后的整个过程。每次迭代涉及的各个步骤是 选择网络架构即隐藏层数、每层神经元数和激活函数随机初始化权重使用前向传播来确定输出节点使用已知标签找出模型的误差将误差反向传播到网络中并确定每个节点的误差更新权重以最小化梯度 到目前为止我们已经介绍了#1 – #3并且对#5 有了一些直觉。现在让我们从#4 – #6 开始。我们将使用第 4 节中描述的相同的 NN 通用结构。 #4-找出错误 e L (i) y (i) - a L (i) | e L (i) y (i) - a L (i) | i 1,2,...,N L 这里 y (i)是训练数据的实际结果 #5-将误差反向传播到网络中 L-1 层的误差应首先使用以下公式确定 其中 i 0,1,2, ….., NL-1L-1 层的节点数 从本节前半部分讨论的概念中得到的直觉 我们看到一个节点的梯度是下一层所有节点梯度的函数。这里节点的误差基于下一层所有节点的误差的加权和该下一层的所有节点将该节点的输出作为输入。由于误差是使用每个节点的梯度计算的因此该因素就出现了。f(x) (i)是指进入该节点的输入的激活函数的导数。请注意x 是指应用激活函数之前当前节点中所有输入的加权和。这里遵循链式法则将当前节点的梯度即 f(x) ( i ) 与来自方程 RHS 前半部分的后续节点的梯度相乘。 这个过程必须从L-1层到第2层连续重复。请注意第一层只是输入。 #6-更新权重以最小化梯度 使用以下权重更新规则Wik (l) Wik (l) a (i) .el 1 (k) 这里 l 1,2,….., (L-1) | 层索引不包括最后一层i 0,1,….., N l | 第l层节点索引k 1,2,…., N l1 | 第l 1层节点索引Wik (l)指第i个节点到第k个节点第l层到第l1层的权重 我希望公约是明确的。我建议您多次查看如果仍有疑问我很乐意通过下面的评论来解答。 至此我们已经成功地理解了神经网络的工作原理。如有需要欢迎进一步讨论。 八、经常问的问题 Q1. 深度学习的基础是什么 A. 深度学习的基础包括 1. 神经网络深度学习依赖于人工神经网络人工神经网络由互连的人工神经元层组成。 2.深层深度学习模型具有多个隐藏层使它们能够学习数据的层次表示。 3. 使用反向传播进行训练深度学习模型是使用反向传播进行训练的反向传播根据前向和反向传播过程中计算的误差来调整模型的权重。 4. 激活函数激活函数将非线性引入网络使其能够学习复杂的模式。 5. 大型数据集深度学习模型需要大型标记数据集才能有效地从数据中学习和概括。 Q2。神经网络的基本原理是什么 A. 神经网络的基本原理包括 1. 神经元神经网络由模仿生物神经元行为的互连人工神经元组成。 2.权重和偏差神经元具有相关的权重和偏差决定它们的连接强度和激活阈值。 3. 激活函数每个神经元对其输入应用激活函数引入非线性并实现复杂的计算。 4. 层神经元被组织成层包括输入层、隐藏层和输出层用于处理和转换数据。 5.反向传播使用反向传播来训练神经网络根据误差梯度调整权重以提高性能。 九、后记 本文重点介绍神经网络的基础知识及其工作原理。我希望现在您了解神经网络的工作原理并且永远不会将其用作黑匣子。一旦你了解并实际操作起来这真的很容易。 因此在我即将发表的文章中我将解释在 Python 中使用神经网络的应用。除了理论之外我将重点关注神经网络的实践方面。我立即想到了两个应用程序 图像处理自然语言处理 我希望你喜欢这个。如果您能通过下面的评论分享您的反馈我会很高兴。期待与您就此进一步交流 https://www.analyticsvidhya.com/blog/2016/03/introduction-deep-learning-fundamentals-neural-networks/
