网站建设优化服务方案模板,巨量引擎,建设银行沈阳分行网站,wordpress更新需要连接ftp一.平方损失(MSE)
Loss函数: 梯度: 由于x,y是已知的#xff0c;故可以忽略掉 梯度更新: sigmoid函数: 可以看出 导数在z取大部分值#xff0c;都是很小的#xff0c;这样会使梯度更新慢#xff0e;
y为1或0是#xff0c;当a1,w的梯度为0,a0,w的梯度为0#xff0c;故就…一.平方损失(MSE)
Loss函数: 梯度: 由于x,y是已知的故可以忽略掉 梯度更新: sigmoid函数: 可以看出 导数在z取大部分值都是很小的这样会使梯度更新慢
y为1或0是当a1,w的梯度为0,a0,w的梯度为0故就能看出梯度更新慢
二.交叉熵损失(Cross-entropy)
梯度更新比较图 可看出逻辑回归比MSE慢 Loss函数: 简写形式: 梯度更新: 由于没有导数那一项导致梯度更新不再慢 参考:
交叉熵损失
