信息平台 网站的建设,公司网站备案材料,虫虫 wordpress 群发,南宁市建设工程质量监督站网站1、介绍 SELU (Scaled Exponential Linear Unit) SELU是对ELU激活函数的改进#xff0c;通过引入自动标准化机制#xff0c;使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。
# 定义 SELU 激活函数
def selu(x, alpha1.67326, lambda_1.0507):retu… 1、介绍 SELU (Scaled Exponential Linear Unit) SELU是对ELU激活函数的改进通过引入自动标准化机制使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。
# 定义 SELU 激活函数
def selu(x, alpha1.67326, lambda_1.0507):return lambda_ * torch.where(x 0, x, alpha * (torch.exp(x) - 1))
2、公式 其中 和 是两个常数通常设置为 1.0507 和 1.67326
3、图像 4、特点 自归一化SELU激活函数引入了自标准化机制使得神经网络的输出在训练过程中保持均值和方差接近于1。这有助于解决神经网络中的梯度爆炸和梯度消失问题从而使得深层网络更容易训练。 适用范围 SELU对于输入的取值范围有一定的要求通常在应用SELU时需要对输入进行归一化。 激活范围SELU激活函数在输入为负数时具有指数增长而在输入为正数时近似于线性。这种非线性特性使得SELU在某些情况下比ReLU等激活函数表现更好。
需要注意的是SELU 激活函数在某些情况下可能并不适用于所有任务和网络结构。在使用 SELU时还需要注意初始化参数的设置因为它对于网络的输出分布有严格的要求。如果不合适地使用SELU可能会导致网络输出的均值和方差不稳定从而影响模型的性能。
论文链接
[1706.02515] Self-Normalizing Neural Networks (arxiv.org)
更多深度学习内容请翻阅本人主页下列是快速链接
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数2024最新整理-CSDN博客
