做软件下载网站怎么赚钱,公司向要做一个网站要怎么做,电子商务网站建设背景,wordpress后台下载第五章 深度学习 一、基本理论
3. 深度神经网络训练法则
3.1 损失函数
3.1.1 什么是损失函数#xff1f;
损失函数#xff08;Loss Function#xff09;#xff0c;也有称之为代价函数#xff08;Cost Function#xff09;#xff0c;用来度量预测值和实际值之间的差…第五章 深度学习 一、基本理论
3. 深度神经网络训练法则
3.1 损失函数
3.1.1 什么是损失函数
损失函数Loss Function也有称之为代价函数Cost Function用来度量预测值和实际值之间的差异。
3.1.2 损失函数的作用
度量决策函数 f ( x ) f(x) f(x) 和实际值之间的差异。
作为模型性能参考。损失函数值越小说明预测输出和实际结果也称期望输出之间的差值就越小也就说明我们构建的模型越好。学习的过程就是不断通过训练数据进行预测不断调整预测输出与实际输出差异使得损失值最小的过程。
3.1.3 常用损失函数
均方误差Mean square error损失函数。均方误差是回归问题常用的损失函数它是预测值与目标值之间差值的平方和其公式和图像如下所示 为什么使用误差的平方 曲线的最低点是可导的越接近最低点曲线的坡度逐渐放缓有助于通过当前的梯度来判断接近最低点的程度是否逐渐减少步长以免错过最低点 交叉熵Cross Entropy。交叉熵是 Shannon 信息论中一个重要概念主要用于度量两个概率分布间的差异性信息在机器学习中用来作为分类问题的损失函数。假设有两个概率分布 t k t_k tk与 y k y_k yk其交叉熵函数公式及图形如下所示
3.2 梯度下降
3.2.1 什么是梯度
梯度gradient是一个向量矢量有方向表示某一函数在该点处的方向导数沿着该方向取得最大值即函数在该点处沿着该方向此梯度的方向变化最快变化率最大。损失函数沿梯度相反方向收敛最快即能最快找到极值点。当梯度向量为零或接近于零说明损失函数到达一个极小值点模型准确度达到一个极大值点。 3.2.2 梯度下降
通过损失函数我们将“寻找最优参数”问题转换为了“寻找损失函数最小值”问题。寻找步骤 1损失是否足够小如果不是计算损失函数的梯度。 2按梯度的反方向走一小步以缩小损失。 3循环到1。 这种按照负梯度不停地调整函数权值的过程就叫作**“梯度下降法”**。通过这样的方法改变每个神经元与其他神经元的连接权重及自身的偏置让损失函数的值下降得更快进而将值收敛到损失函数的某个极小值。
3.2.3 导数与偏导数
导数的定义
所谓导数就是用来分析函数“变化率”的一种度量。其公式为
导数的含义反映变化的剧烈程度变化率 偏导数
“偏导”的英文本意是“partial derivatives“表示局部导数。对于多维变量函数而言当求某个变量的导数时就是把其他变量视为常量然后对整个函数求其导数相比于全部变量这里只求一个变量即为“局部”。例如有函数
3.2.4 学习率
学习率是梯度下降过程中在梯度值前面的系数用来控制调整的步幅大小。
3.2.5 梯度递减训练法则
神经网络中的权值参数是非常多的因此针对损失函数 E 的权值向量的梯度如以下公式所示 表示损失函数 E 的梯度它本身也是一个向量它的多个维度分别由损失函数 E 对多个权值参数 w i w_i wi求偏导所得。当梯度被解释为权值空间中的一个向量时它就确定了 E 陡峭上升的方向那么梯度递减的训练法则就如下公式所示
3.2.6 梯度下降算法
3.2.6.1 批量梯度下降
批量梯度下降法Batch Gradient DescentBGD是最原始的形式它是指在每一次迭代时使用所有样本来进行梯度的更新。
优点
一次迭代是对所有样本进行计算此时利用矩阵进行操作实现了并行。由全数据集确定的方向能够更好地代表样本总体从而更准确地朝向极值所在的方向。当目标函数为凸函数时BGD 一定能够得到全局最优。
缺点
当样本数目 m 很大时每迭代一步都需要对所有样本计算训练过程会很慢。
3.2.6.2 随机梯度下降
随机梯度下降法Stochastic Gradient DescentSGD每次迭代使用一个样本来对参数进行更新使得训练速度加快。
优点
由于不是在全部训练数据上的损失函数而是在每轮迭代中随机优化某一条训练数据上的损失函数这样每一轮参数的更新速度大大加快。
缺点
准确度下降。由于即使在目标函数为强凸函数的情况下SGD 仍旧无法做到线性收敛。可能会收敛到局部最优由于单个样本并不能代表全体样本的趋势。不易于并行实现。
3.2.6.3 小批量梯度下降
小批量梯度下降Mini-Batch Gradient Descent, MBGD是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是每次迭代使用指定个batch_size样本来对参数进行更新。
优点
通过矩阵运算每次在一个 batch 上优化神经网络参数并不会比单个数据慢太多。每次使用一个 batch 可以大大减小收敛所需要的迭代次数同时可以使收敛到的结果更加接近梯度下降的效果。
缺点
batch_size 的不当选择可能会带来一些问题。
3.2.7 几种梯度下降算法收敛比较
批量梯度下降稳健地向着最低点前进的
随机梯度下降震荡明显但总体上向最低点逼近
小批量梯度下降位于两者之间 3.3 反向传播算法
3.3.1 什么是正向传播网络
前一层的输出作为后一层的输入的逻辑结构每一层神经元仅与下一层的神经元全连接通过增加神经网络的层数虽然可为其提供更大的灵活性让网络具有更强的表征能力也就是说能解决的问题更多但随之而来的数量庞大的网络参数的训练一直是制约多层神经网络发展的一个重要瓶颈。
3.3.2 什么是反向传播
反向传播Backpropagation algorithm全称“误差反向传播”是在深度神经网络中根据输出层输出值来反向调整隐藏层权重的一种方法。
3.3.3 为什么需要反向传播
为什么不直接使用梯度下降而使用反向传播方式更新权重呢
梯度下降应用于有明确求导函数的情况或者可以求出误差的情况比如线性回归我们可以把它看做没有隐藏层的网络。但对于多个隐藏层的神经网络输出层可以直接求出误差来更新参数但隐藏层的误差是不存在的因此不能对它直接应用梯度下降而是先将误差反向传播至隐藏层然后再应用梯度下降。
3.3.4 反向传播算法极简史
1974 年哈佛大学沃伯斯博士在他的博士论文中首次提出了通过误差的反向传播来训练人工神经网络以解决神经网络数量庞大的参数训练问题。但是沃伯斯的工作并没有得到足够的重视因为当时神经网络正陷入低潮可谓“生不逢时”。
1986 年由杰弗里·辛顿Geoffrey Hinton和大卫·鲁姆哈特David Rumelhart等人在著名学术期刊 Nature自然上发表了论文“借助误差反向传播算法的学习表征Learning Representations by Back-propagating errors”系统而简洁地阐述了反向传播算法在神经网络模型上的应用。反向传播算法非常好使它直接把纠错的运算量降低到只和神经元数目本身成正比的程度。
后来沃伯斯得到了 IEEE电气电子工程师学会神经网络分会的先驱奖Geoffrey Hinton 与 Yoshua Bengio、Yann LeCun合称“深度学习三巨头”共同获得了 2018 年的图灵奖。
3.3.5 图解反向传播
问题Tom 在超市买了 2 个苹果每个 10 元消费税 10%请计算应该支付的金额 问题Tom 在超市买了 2 个苹果每个 10 元消费税 10%请计算苹果价格上涨会在多大程度上影响支付金额即求“支付金额关于苹果的价格的导数”。设苹果的价格为 x支付金额为 L则相当于求 ∂ L ∂ x \frac{\partial L}{\partial x} ∂x∂L。这个导数的值表示当苹果的价格稍微上涨时支付金额会增加多少。 苹果价格的导数为 2.2苹果个数导数为 11消费税导数为 20可以解释为苹果价格、苹果个数或消费税增加相同的值分别对支付金额产生 2.2 倍、11 倍、20 倍的影响。
3.3.6 反向传播计算
考虑函数 y f(x) , 输出为 E反向传播的计算顺序是将信号 E 乘以节点的局部导数偏导数传递给前面的节点这样可以高效地求出导数的值。 加法节点反向传播计算 乘法节点反向传播计算
3.3.7 链式求导法则 3.3.8 案例 1反向传播计算示例
问题苹果、橙子价格和个数以及税率如下图所示利用反向传播算法在方框处计算填入导数
3.3.9 案例 2真实反向传播示例 3.4 小结
损失函数
用于度量预测值和期望值之间的差异根据该差异值进行参数调整
梯度下降
用于以最快的速度、最少的步骤快速找到损失函数的极小值
反向传播算法
用于求隐藏层梯度
