昆明网站开发多少钱,wordpress插件白屏,如何把网站程序做授权网址访问,wordpress置顶没用Softmax回归损失函数图片分类 1. Softmax回归--分类问题2. 三个常用损失函数1. 均方损失 L2 Loss2. 绝对值损失函数 L1 Loss3. 两个结合 HUber’s Robust Loss 3. 图片分类数据集4. Softmax回归从零开始实现5. Softmax回归简洁实现6. QA 1. Softmax回归–分类问题 真实y只有一个… Softmax回归损失函数图片分类 1. Softmax回归--分类问题2. 三个常用损失函数1. 均方损失 L2 Loss2. 绝对值损失函数 L1 Loss3. 两个结合 HUber’s Robust Loss 3. 图片分类数据集4. Softmax回归从零开始实现5. Softmax回归简洁实现6. QA 1. Softmax回归–分类问题 真实y只有一个为1其他为0也是概率。 p q假设为离散概率。真实y是有一个类别概率为1其他为0。 2. 三个常用损失函数
衡量预测值和真实值之间的区别。
1. 均方损失 L2 Loss
定义真实值减去预测值的平方再除以2.【除以2为了求导是方便抵消掉系数】 蓝色曲线二次函数当y0 变化预测值的函数 绿色曲线似然函数高斯分布 e − l e^{-l} e−l ? 橙色曲线损失函数的梯度是穿过原点的。 梯度下降时根据负梯度的方向更新参数导数决定如何更新参数的。当预测值和真实值相差比较大梯度比较大参数变化比较大、多当预测值和真实值相差比较小–靠近原点梯度越来越小参数变化的幅度也越来越小。 当离原点比较远的时候不一定想要很大的梯度来更新参数可以考虑绝对值损失函数。
2. 绝对值损失函数 L1 Loss
定义真实值减去预测值的绝对值。 蓝色曲线损失函数–绝对值函数当y0 绿色曲线似然函数在原点处有一个很尖的点 橙色曲线导数–梯度在大于0导数为常数1小于0导数-1在0点不可导导数在-1,1之间瞬间变化 当预测值和真实值离得比较远的时候梯度为常数权重更新不大会带来很多稳定性的好处【不管多远梯度以同样的力度向中间扯】。不好的地方0点处不可导从-1到1的剧烈变化平滑性差当预测值和真实值靠的近优化到了末期这里可能变得不那么稳定。
3. 两个结合 HUber’s Robust Loss
鲁棒损失 定义当预测值和真实值差距较大绝对值大于1的时候损失函数是绝对值误差减去1/2是为了和曲线连接起来。 当预测值和真实值差距较小绝对值小于等于1的时候是平方误差。 蓝色曲线损失函数在正负一之间是平滑的二次函数之外是直线 绿色曲线似然函数很像高斯分布 橙色曲线在正负一之间是渐变的意外是常数。
当预测值和真实值差距较大梯度用均匀的力度往回拉。 当预测值和真实值差距较小到了优化末期梯度会越来越小保证优化是平滑的避免出现数值的问题。
分析损失函数特性通过函数形状梯度形状分析预测值和真实值差别大 差别小的时候的函数特性。
3. 图片分类数据集
读取多类分类数据集。
4. Softmax回归从零开始实现
5. Softmax回归简洁实现
6. QA
下周再更新。
