企业网站怎么建设,微信如何申请小程序商店,电子商务公司属于什么行业类别,北京电力交易中心电力交易平台目录 激活函数
1、作用
2、常用激活函数
3、衡量激活函数好坏的标准#xff1a;
4、不同的激活函数
1#xff09;sigmoid
2#xff09;tanh函数 3#xff09;RULE函数和leak-relu函数
4#xff09;softmax函数 激活函数
1、作用
如果只是线性卷积的话#xff0c…目录 激活函数
1、作用
2、常用激活函数
3、衡量激活函数好坏的标准
4、不同的激活函数
1sigmoid
2tanh函数 3RULE函数和leak-relu函数
4softmax函数 激活函数
1、作用
如果只是线性卷积的话会导致无法形成复杂的表达空间因此需要激活函数来进行非线性映射这样可以得到更高语义的信息提升整个神经网络的表达能力。
2、常用激活函数
sigmoid、tanh、relu、softmax
3、衡量激活函数好坏的标准
1是否0-均值输出即是否关于零点中心对称这样可以使得收敛加速不太理解
2是否会出现梯度消失现象梯度消失现象主要是因为在反向传播时由于链式求导原则使得梯度从后一层传到前一层会出现减小的情况如果网络深的话传播到前面时梯度变成了0 以BP后向传播为例在求w11的导数时若W1求值为[0,1]激活函数φ的导数小于1时会出现梯度消失
3激活函数表达式是否会很复杂若计算表达式出现幂运算、指数运算等一般计算量都很大
4、不同的激活函数
1sigmoid
sigmoid函数可以作为0-1二分类的分类器也可以作为层数较少的神经网络的激活函数
优缺点如下 2tanh函数
tanh函数适用于激活函数相较于sigmoid函数做到了零均值输出以及缓解了梯度消失
优缺点如下 3RULE函数和leak-relu函数
RELU函数因为其在正空间为线性的缘故因此适用于深度很深的神经网络中比如VGG16的实现。但是因为其在负空间直接将值置为0导致导数为0使得会出现参数不更新的情况称之为Dead ReLU Problem基于此出现了leak-rule函数它是给了一个非常小的系数使得在负空间的导数接近于零而不等于零优缺点如下 注意个人理解在大量的实验种发现relu函数会优于后者原因可以是relu起到了一定的dropout的作用可以有效地避免过拟合。因为relU在小于0的时候梯度是0的也就是有一部分神经元的参数是不会发生改变所以这也相当于这部分神经元在训练的时候被丢弃了只有一部分神经元参与到了训练当中。每次迭代都有不一样的神经元的参数不发生改变这样的话就导致了多次训练得到了不一样的神经网络结构相当于dropout的作用。 区别在于dropout方法随即丢弃神经元随机性更强而relu的话因为导数为0这部分主要是集中在负半区使得每次迭代“丢弃”的神经元种有大部分其实是相同的因此效果没有直接用dropout来的好。 4softmax函数
适用于多分类情景是一个离散函数输入是每一类的得分输出是每一类的概率
