做特效的网站,建百度网站,做网站怎样做全页面,网页设计作品网站一、损失函数
举个例子 比如说根据Loss提供的信息知道#xff0c;解答题太弱了#xff0c;需要多训练训练这个模块。
Loss作用#xff1a;1.算实际输出和目标之间的差距
2.为我们更新输出提供一定的依据#xff08;反向传播#xff09;
看官方文档
每个输入输出相减取…一、损失函数
举个例子 比如说根据Loss提供的信息知道解答题太弱了需要多训练训练这个模块。
Loss作用1.算实际输出和目标之间的差距
2.为我们更新输出提供一定的依据反向传播
看官方文档
每个输入输出相减取平均取绝对值再取平均
第一个损失函数L1Loss
差的绝对值取平均 需要注意输入输出 Nbatch_size你有多少个数据 第一个损失函数MSELoss
平方差误差平方取平均 稳妥的写法是先引入nn然后再找到MSEloss()这个方法避免由于拼写出错而报错
二、交叉熵 算交叉熵一般都要soft-max的和是1 这里的-x[class]只对目标分类计算这里的目标分类class1因此-x[class]-0.2 如果预测输出为[0.8,0.9,0.8]这种的预测概率很高又很接近的就不行分类器的效果就不是很好。
为了让这部分比较大只有当output和Target完全命中的时候这一项就比较大就是会相匹配。 Target的N是要求多少个batchsize如实际的对哈士奇的分类类别有三个但是每次输入的图片只有一个也就是batchsize等于1。 另外还需要注意 输入必须是没有处理过的对每一类的得分。
以代码为例 三、反向传播
利用上一次的的网络来说明
1.计算实际输出和目标之间的差距
DataLoader这边就是一个数据的加载加载的目标数据是dataset输入的batch_size为64 为了观察输出方便将batch_size设置为1
图片输入进去有以下输出 target 分类问题可以用交叉熵误差 神经网络输出和真实输出的一个差距 2.为我们更新输出提供一定的一句反向传播 每个卷积的卷积核就需要调优的参数给每个卷积核参数设置了一个grad梯度每一个节点待更新参数都会求出一个对应梯度优化过程中针对这个梯度进行优化最终实现整体loss最优。
以梯度下降法进行说明 删除了反向传播之后发现梯度不更新了
