南京seo整站优化技术,天华建筑设计有限公司,wordpress站点如何适应手机,郑州微网站制作Copyright Microsoft Corporation. All rights reserved. 适用于License版权许可 更多微软人工智能学习资源#xff0c;请见微软人工智能教育与学习共建社区
Content01.0-神经网络的基本工作原理01.1-基本数学导数公式01.2-Python-Numpy库的点滴02.0-反向传播与梯度下…Copyright © Microsoft Corporation. All rights reserved. 适用于License版权许可 更多微软人工智能学习资源请见微软人工智能教育与学习共建社区
Content01.0-神经网络的基本工作原理01.1-基本数学导数公式01.2-Python-Numpy库的点滴02.0-反向传播与梯度下降02.1-线性反向传播02.2-非线性反向传播02.3-梯度下降03.0-损失函数03.1-均方差损失函数03.2-交叉熵损失函数04.0-单入单出单层-单变量线性回归04.1-最小二乘法04.2-梯度下降法04.3-神经网络法04.4-梯度下降的三种形式04.5-实现逻辑非门05.0-多入单出单层-多变量线性回归05.1-正规方程法05.2-神经网络法05.3-样本特征数据的归一化05.4-归一化的后遗症05.5-正确的推理方法05.6-归一化标签值06.0-多入多出单层神经网络-多变量线性分类06.1-二分类原理06.2-线性二分类实现06.3-线性二分类结果可视化06.4-多分类原理06.5-线性多分类实现06.6-线性多分类结果可视化07.0-激活函数07.1-挤压型激活函数07.2-半线性激活函数07.3-用双曲正切函数分类07.4-实现逻辑与门和或门08.0-单入单出双层-万能近似定理08.1-双层拟合网络的原理08.2-双层拟合网络的实现09.0-多入多出双层-双变量非线性分类09.1-实现逻辑异或门09.2-理解二分类的工作原理09.3-非线性多分类09.4-理解多分类的工作原理10.0-调参与优化10.1-权重矩阵初始化10.2-参数调优10.3-搜索最优学习率10.4-梯度下降优化算法10.5-自适应学习率算法11.0-深度学习基础11.1-三层神经网络的实现11.2-验证与测试11.3-梯度检查11.4-手工测试训练效果11.5-搭建深度神经网络框架12.0-卷积神经网络12.1-卷积12.2-池化14.1-神经网络模型概述14.2-Windows模型的部署14.3-Android模型的部署
第三篇激活函数和损失函数(二
损失函数
作用
在有监督的学习中需要衡量神经网络输出和所预期的输出之间的差异大小。这种误差函数需要能够反映出当前网络输出和实际结果之间一种量化之后的不一致程度也就是说函数值越大反映出模型预测的结果越不准确。
还是拿练枪的Bob做例子Bob预期的目标是全部命中靶子的中心但他现在的命中情况是这个样子的 最外圈是1分之后越向靶子中心分数是234分正中靶心可以得5分。
那Bob每次射击结果和目标之间的差距是多少呢在这个例子里面用得分来衡量的话就是说Bob得到的反馈结果从差4分到差3分到差2分到差1分到差0分这就是用一种量化的结果来表示Bob的射击结果和目标之间差距的方式。也就是误差函数的作用。因为是一次只有一个样本所以这里采用的是误差函数的称呼。如果一次有多个样本那么就要称呼这样子衡量不一致程度的函数就要叫做损失函数了。 以做线性回归的实际值和预测值为例若自变量x是[-2, -1, 0, 1, 2]这样5个值对应的期望值y是[-3, 0, 0, 3, 4]这样的值目前预测使用的参数是(w, b) (2, 1), 那么预测得到的值y_ [-3, -1, 1, 3, 5], 采用均方误差计算这个预测和实际的损失就是∑I04(y[i]−y_[i])2\sum_{I 0}^{4}(y[i] - y_\_[i])^{2}∑I04(y[i]−y_[i])2, 也就是3。那么如果采用的参量是(0, 0)预测出来的值是[0, 0, 0, 0, 0],这是一个显然错误的预测结果此时的损失大小就是343lt;343 lt; 34334, 那么(2, 1)是一组比(0, 0)要合适的参量。
那么常用的损失函数有哪些呢
这里先给一些前提比如神经网络中的一个神经元 图中 z∑iwi∗xibiθTxz \sum\limits_{i}w_i*x_ib_i\theta^Txzi∑wi∗xibiθTxσ(z)\sigma(z)σ(z)是对应的激活函数也就是说在反向传播时梯度的链式法则中
(1)∂z∂wixi\frac{\partial{z}}{\partial{w_i}}x_i \tag{1}∂wi∂zxi(1)
(2)∂z∂bi1\frac{\partial{z}}{\partial{b_i}}1 \tag{2}∂bi∂z1(2)
(3)∂loss∂wi∂loss∂σ(z)∂σ(z)∂z∂z∂wi∂loss∂σ(z)∂σ(z)∂zxi\frac{\partial{loss}}{\partial{w_i}}\frac{\partial{loss}}{\partial{\sigma(z)}}\frac{\partial{\sigma(z)}}{\partial{z}}\frac{\partial{z}}{\partial{w_i}}\frac{\partial{loss}}{\partial{\sigma(z)}}\frac{\partial{\sigma(z)}}{\partial{z}}x_i \tag{3}∂wi∂loss∂σ(z)∂loss∂z∂σ(z)∂wi∂z∂σ(z)∂loss∂z∂σ(z)xi(3)
(4)∂loss∂bi∂loss∂σ(z)∂σ(z)∂z∂z∂bi∂loss∂σ(z)∂σ(z)∂z\frac{\partial{loss}}{\partial{b_i}}\frac{\partial{loss}}{\partial{\sigma(z)}}\frac{\partial{\sigma(z)}}{\partial{z}}\frac{\partial{z}}{\partial{b_i}}\frac{\partial{loss}}{\partial{\sigma(z)}}\frac{\partial{\sigma(z)}}{\partial{z}} \tag{4}∂bi∂loss∂σ(z)∂loss∂z∂σ(z)∂bi∂z∂σ(z)∂loss∂z∂σ(z)(4)
从公式(3),(4)(3),(4)(3),(4)可以看出梯度计算中的公共项是∂loss∂σ(z)∂σ(z)∂z∂loss∂z\frac{\partial{loss}}{\partial{\sigma(z)}}\frac{\partial{\sigma(z)}}{\partial{z}} \frac{\partial{loss}}{\partial{z}}∂σ(z)∂loss∂z∂σ(z)∂z∂loss。
下面我们来探讨∂loss∂z\frac{\partial{loss}}{\partial{z}}∂z∂loss的影响。由于梯度的计算和函数的形式是有关系的所以我们会从常用损失函数入手来逐个说明。
常用损失函数 MSE (均方误差函数) 该函数就是最直观的一个损失函数了计算预测值和真实值之间的欧式距离。预测值和真实值越接近两者的均方差就越小。 想法来源 在给定一些点去拟合直线的时候比如上面的例子常采用最小二乘法使各个训练点到拟合直线的距离尽量小。这样的距离最小在损失函数中的表现就是预测值和真实值的均方差的和。 函数形式 loss12∑i(y[i]−a[i])2loss \frac{1}{2}\sum_{i}(y[i] - a[i]) ^ 2loss21i∑(y[i]−a[i])2, 其中 aaa是网络预测所得到的结果yyy代表期望得到的结果也就是数据的标签iii是样本的序号。 反向传播
∂loss∂z∑i(y[i]−a[i])∗∂a[i]∂z\frac{\partial{loss}}{\partial{z}} \sum_{i}(y[i] - a[i])*\frac{\partial{a[i]}}{\partial{z}}∂z∂lossi∑(y[i]−a[i])∗∂z∂a[i] 缺点: 和∂a[i]∂z\frac{\partial{a[i]}}{\partial{z}}∂z∂a[i]关系密切可能会产生收敛速度缓慢的现象以下图为例激活函数为sigmoid 在激活函数的两端梯度黄色都会趋向于0采取MSE的方法衡量损失在aaa趋向于1而yyy是0的情况下损失loss是1而梯度会趋近于0在误差很大时收敛速度也会非常慢。
在这里我们可以参考activation中关于sigmoid函数求导的例子假定x保持不变只有一个输入的一个神经元权重wln(9)w ln(9)wln(9) 偏置b0b 0b0也就是这样一个神经元 保持参数统一不变也就是学习率η0.2\eta 0.2η0.2目标输出y0.5y 0.5y0.5, 此处输入x固定不变为x1x 1x1采用MSE作为损失函数计算一样先做公式推导
第一步计算当前误差
loss12(a−y)212(0.9−0.5)20.08loss \frac{1}{2}(a - y)^2 \frac{1}{2}(0.9 - 0.5)^2 0.08loss21(a−y)221(0.9−0.5)20.08
第二步求出当前梯度
grad(a−y)×∂a∂z∂z∂w(a−y)×a×(1−a)×x(0.9−0.5)×0.9×(1−0.9)×10.036grad (a - y) \times \frac{\partial{a}}{\partial{z}} \frac{\partial{z}}{\partial{w}} (a - y) \times a \times (1 - a) \times x (0.9 - 0.5) \times 0.9 \times (1-0.9) \times 1 0.036grad(a−y)×∂z∂a∂w∂z(a−y)×a×(1−a)×x(0.9−0.5)×0.9×(1−0.9)×10.036
第三步根据梯度更新当前输入值
ww−η×gradln(9)−0.2×0.0362.161w w - \eta \times grad ln(9) - 0.2 \times 0.036 2.161ww−η×gradln(9)−0.2×0.0362.161
第四步计算当前误差是否小于阈值此处设为0.001)
a11e−wx0.8967a \frac{1}{1 e^{-wx}} 0.8967a1e−wx10.8967
loss12(a−y)20.07868loss \frac{1}{2}(a - y)^2 0.07868loss21(a−y)20.07868
第五步重复步骤2-4直到误差小于阈值
作出函数图像如图所示 可以看到函数迭代了287次从才收敛到接近0.5的程度这比单独使用sigmoid函数还要慢了很多。
交叉熵函数
这个损失函数的目的是使得预测得到的概率分布和真实的概率分布尽量的接近。两个分布越接近那么这个损失函数得到的函数值就越小。怎么去衡量两个分布的接近程度呢这就要用到香农信息论中的内容了。两个概率分布之间的距离也叫做KL Divergence他的定义是这个形式的,给定离散概率分布P(x), Q(x)这两个分布之间的距离是
DKL(P∣∣Q)−∑iP(i)log(Q(i)P(i))D_{KL}(P || Q) - \sum_{i}P(i)log(\frac{Q(i)}{P(i)})DKL(P∣∣Q)−i∑P(i)log(P(i)Q(i))
试想如果两个分布完全相同那么log(Q(i)P(i))0log(\frac{Q(i)}{P(i)}) 0log(P(i)Q(i))0, 也就是两个分布之间的距离是零如果两个分布差异很大比如一个是P(0)0.9,P(1)0.1P(0)0.9, P(1)0.1P(0)0.9,P(1)0.1,另一个是Q(0)0.1,Q(1)0.9Q(0)0.1,Q(1)0.9Q(0)0.1,Q(1)0.9,那么这两个分布之间的距离就是0.763如果是Q(0)0.5,Q(1)0.5Q(0)0.5,Q(1)0.5Q(0)0.5,Q(1)0.5那么距离就是0.160直觉上来说两个分布越接近那么他们之间的距离就是越小的具体的理论证明参看《信息论基础》不过为什么要选用这个作为损失函数呢 从最大似然角度开始说 关于最大似然请参看 https://www.zhihu.com/question/20447622/answer/161722019
将神经网络的参数作为θ\thetaθ数据的真实分布是Pdata(y;x)P_{data}(y;x)Pdata(y;x), 输入数据为xxx那么在θ\thetaθ固定情况下神经网络输出yyy的概率就是P(y;x,θ)P(y;x, \theta)P(y;x,θ)构建似然函数
L∑ilog(P(yi;xi,θ))L \sum_{i}log(P(y_i;x_i, \theta))Li∑log(P(yi;xi,θ))
以θ\thetaθ为参数最大化该似然函数即θ∗argmaxθL\theta^{*} {argmax}_{\theta}Lθ∗argmaxθL。
真实分布P(xi)P(x_i)P(xi)对于每一个(i,xi,yi)(i, x_i, y_i)(i,xi,yi)来说均是定值,在确定xix_ixi情况下输出是yiy_iyi的概率是确定的。在一般的情况下对于每一个确定的输入输出某个类别的概率是0或者1所以可以将真实概率添加到上述式子中而不改变式子本身的意义
θ∗argmaxθ∑iPdata(yi;xi)log(P(yi;xi,θ))\theta^{*} {argmax}_{\theta}\sum_{i}P_{data}(y_i;x_i)log(P(y_i;x_i, \theta)) θ∗argmaxθi∑Pdata(yi;xi)log(P(yi;xi,θ))
将DKLD_{KL}DKL展开得到,
DKL(P∣∣Q)−∑iP(i)log(Q(i)P(i))∑iP(i)log(P(i))−∑iP(i)log(Q(i))D_{KL}(P || Q) - \sum_{i}P(i)log(\frac{Q(i)}{P(i)}) \sum_{i}P(i)log(P(i)) - \sum_{i}P(i)log(Q(i)) DKL(P∣∣Q)−i∑P(i)log(P(i)Q(i))i∑P(i)log(P(i))−i∑P(i)log(Q(i))
P(i)P(i)P(i)代表Pdata(yi;xi)P_{data}(y_i;x_i)Pdata(yi;xi) Q(i)Q(i)Q(i)代表P(yi;xi,θ)P(y_i;x_i,\theta)P(yi;xi,θ)。
上述右侧式中第一项是和仅真实分布P(i)P(i)P(i)有关的,在最小化DKLD_{KL}DKL过程中是一个定值所以最小化DKLD_{KL}DKL等价于最小化−∑iP(i)log(Q(i))-\sum_{i}P(i)log(Q(i))−∑iP(i)log(Q(i))也就是在最大化似然函数。 函数形式以二分类任务为例 loss∑iy(xi)log(a(xi))(1−y(xi))log(1−a(xi))loss \sum_{i}y(x_i)log(a(x_i)) (1 - y(x_i))log(1- a(x_i))lossi∑y(xi)log(a(xi))(1−y(xi))log(1−a(xi)) 其中y(xi)y(x_i)y(xi)是真实分布a(xi)a(x_i)a(xi)是神经网络输出的概率分布 反向传播
∂loss∂z(−y(z)a(z)1−y(z)1−a(z))∗∂a(z)∂za(z)−y(z)a(z)(1−y(z))∗∂a(z)∂z\frac{\partial{loss}}{\partial{z}} (-\frac{y(z)}{a(z)} \frac{1 - y(z)}{1 - a(z)})*\frac{\partial{a(z)}}{\partial{z}} \frac{a(z) - y(z)}{a(z)(1-y(z))}*\frac{\partial{a(z)}}{\partial{z}}∂z∂loss(−a(z)y(z)1−a(z)1−y(z))∗∂z∂a(z)a(z)(1−y(z))a(z)−y(z)∗∂z∂a(z)
在使用sigmoid作为激活函数情况下∂a(z)∂za(z)(1−a(z))\frac{\partial{a(z)}}{\partial{z}} a(z)(1-a(z))∂z∂a(z)a(z)(1−a(z))也就是说sigmoid本身的梯度和分母相互抵消得到
∂loss∂za(z)y(z)y(z)(1−a(z))∗∂a(z)∂za(z)−y(z)\frac{\partial{loss}}{\partial{z}} \frac{a(z)y(z)}{y(z)(1-a(z))}*\frac{\partial{a(z)}}{\partial{z}} a(z) - y(z)∂z∂lossy(z)(1−a(z))a(z)y(z)∗∂z∂a(z)a(z)−y(z) 在上述反向传播公式中不再涉及到sigmoid本身的梯度故不会受到在误差很大时候函数饱和导致的梯度消失的影响。 总的说来在使用sigmoid作为激活函数时使用交叉熵计算损失往往比使用均方误差的结果要好上一些。但是这个也并不是绝对的需要具体问题具体分析针对具体应用有时需要自行设计损失函数来达成目标。
参考资料
https://www.cnblogs.com/alexanderkun/p/8098781.html
https://www.zhihu.com/question/20447622/answer/161722019
《信息论基础》
点击这里提交问题与建议 联系我们: msraeduhubmicrosoft.com 学习了这么多还没过瘾怎么办欢迎加入“微软 AI 应用开发实战交流群”跟大家一起畅谈AI答疑解惑。扫描下方二维码回复“申请入群”即刻邀请你入群。
