如何建设淘宝客网站,青县住房和城乡建设局网站,购物网站建设的选题意义,网络货运怎么做的目录
简述
二次误差函数
交叉熵误差函数
计算剩余节点增量 政安晨的个人主页#xff1a;政安晨 欢迎 #x1f44d;点赞✍评论⭐收藏 收录专栏: 政安晨的机器学习笔记 希望政安晨的博客能够对您有所裨益#xff0c;如有不足之处#xff0c;欢迎在评论区提出指正#xf…目录
简述
二次误差函数
交叉熵误差函数
计算剩余节点增量 政安晨的个人主页政安晨 欢迎 点赞✍评论⭐收藏 收录专栏: 政安晨的机器学习笔记 希望政安晨的博客能够对您有所裨益如有不足之处欢迎在评论区提出指正 简述
为神经网络中的每个节点神经元计算一个常数值。我们将从输出节点开始然后逐步通过神经网络反向传播。“反向传播”一词就来自这个过程。我们最初计算输出神经元的误差然后通过神经网络向后传播这些误差。节点增量是我们将为每个节点计算的值。层增量也描述了该值因为我们可以一次计算一层的增量。在计算输出节点或内部节点时确定节点增量的方法可能会有所不同。首先计算输出节点并考虑神经网络的误差函数。
在深度学习的反向传播网络中计算输出节点增量即输出误差和计算剩余节点增量使用的是反向传播算法。
该算法首先计算输出节点增量。输出节点的增量是通过将网络的实际输出与期望输出之间的误差传播回网络中来计算的。具体来说通过使用损失函数如均方差误差函数来计算网络的误差然后将这个误差从输出层传播回隐藏层。根据链式法则输出节点增量可以通过乘以导数激活函数的导数和误差传播的方式计算出来。
接下来使用输出节点的增量来计算剩余节点的增量。剩余节点的增量是通过将输出节点的增量传播回隐藏层来计算的。具体来说根据链式法则剩余节点的增量可以通过将输出节点的增量乘以权重矩阵的转置并乘以隐藏层节点的导数来计算。
通过反向传播算法可以计算出网络中所有节点的增量从而根据这些增量来更新网络的权重和偏差进一步优化网络的性能。
二次误差函数
神经网络的程序员经常使用二次误差函数。实际上你可以在网络上找到许多使用二次误差函数的示例。如果你正在阅读一个示例程序但未提及具体的误差函数那么该程序可能使用了二次误差函数也称为MSE函数我们在前文“训练和评估”中讨论过。
下面公式展示了MSE函数 下面公式将神经网络的实际输出y与预期输出y^进行了比较。变量n为训练元素的数量乘以输出神经元的数量。MSE将多个输出神经元处理为单个输出神经元的情况。
下面公式展示了使用二次误差函数的节点增量 二次误差函数非常简单因为它取了神经网络的预期输出与实际输出之间的差。′表示激活函数的导数。
交叉熵误差函数
二次误差函数有时可能需要很长时间才能正确调整权重。下面公式展示了交叉熵误差Cross-entropy ErrorCE函数 如下面公式所示采用交叉熵误差函数的节点增量计算要比采用MSE函数简单得多。 交叉熵误差函数通常会比二次误差函数结果更好因为二次误差函数会为误差创建一个陡峭的梯度。我们推荐采用交叉熵误差函数。
计算剩余节点增量
既然已经根据适当的误差函数计算了输出节点的增量我们就可以计算内部节点的增量如下公式所示 我们将为所有隐藏和无偏置神经元计算节点增量但无须为输入和偏置神经元计算节点增量。即使我们可以使用上面公式轻松计算输入和偏置神经元的节点增量梯度计算也不需要这些值。你很快会看到权重的梯度计算仅考虑权重所连接的神经元。偏置和输入神经元只是连接的起点它们从来不是终点。
