dw制作网站,wordpress最新淘宝客程序,内容营销策划方案,怎么做引流网站目录 1、relu
2、relu6
3、leaky_relu
4、ELU
5、SELU
6、PReLU 1、relu
ReLU#xff08;Rectified Linear Unit#xff09;是一种常用的神经网络激活函数#xff0c;它在PyTorch中被广泛使用。ReLU函数接受一个输入值#xff0c;如果该值大于零#xff0c;则返回该…目录 1、relu
2、relu6
3、leaky_relu
4、ELU
5、SELU
6、PReLU 1、relu
ReLURectified Linear Unit是一种常用的神经网络激活函数它在PyTorch中被广泛使用。ReLU函数接受一个输入值如果该值大于零则返回该值否则返回零。
在PyTorch中可以使用torch.relu()函数来应用ReLU激活函数。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
yt.nn.functional.relu(t.tensor(x,dtypet.float32)).numpy()
plt.plot(x,y)
plt.title(relu)
plt.xlabel(x)
plt.ylabel(relu(x))
plt.grid(True)
plt.show()
2、relu6
PyTorch中的ReLU6激活函数是一种常用的激活函数其形式为f(x) min(max(0, x), 6)。该函数将输入x限制在0和6之间小于0的值会被截断为0大于6的值会被截断为6。ReLU6激活函数可以帮助提高模型的非线性表达能力并且具有较好的稳定性和抗饱和性。在PyTorch中可以通过torch.nn.ReLU6()函数来使用ReLU6激活函数。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
yt.nn.functional.relu6(t.tensor(x,dtypet.float32)).numpy()
plt.plot(x,y)
plt.title(relu6)
plt.xlabel(x)
plt.ylabel(relu6(x))
plt.grid(True)
plt.show() 3、leaky_relu
leaky_relu是PyTorch中的一种激活函数用于引入非线性特性。它与传统的ReLU修正线性单元相似但在负数输入时不会完全变为零而是保留一个小的负斜率。这有助于避免“死亡神经元”即在训练过程中停止响应的神经元。
在PyTorch中可以使用torch.nn.functional模块中的leaky_relu函数来使用leaky_relu激活函数。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
yt.nn.functional.leaky_relu(t.tensor(x,dtypet.float32)).numpy()
plt.plot(x,y)
plt.title(leaky_relu)
plt.xlabel(x)
plt.ylabel(leaky_relu(x))
plt.grid(True)
plt.show()
4、ELU
在PyTorch中ELUExponential Linear Unit激活函数是一种常用的非线性激活函数。它通过将输入值指数化然后对负输入进行缩放以实现更好的性能。
在PyTorch中可以使用torch.nn.ELU模块来实现ELU激活函数。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
elut.nn.ELU()
yelu(t.tensor(x,dtypet.float32)).data.numpy()
plt.plot(x,y)
plt.title(ELU)
plt.xlabel(x)
plt.ylabel(ELU(x))
plt.grid(True)
plt.show() 5、SELU
SELUScaled Exponential Linear Units是一种激活函数常用于神经网络中。
在PyTorch中可以使用torch.nn.functional.selu()函数来实现SELU函数的运算。SELU函数的定义为
SELU(x) scale * (max(0, x) min(0, alpha * (exp(x) - 1)))
其中scale和alpha是两个可调的参数。通常情况下scale的值取1.0507alpha的值取1.6733。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
selut.nn.SELU()
yselu(t.tensor(x,dtypet.float32)).data.numpy()
plt.plot(x,y)
plt.title(SELU)
plt.xlabel(x)
plt.ylabel(SELU(x))
plt.grid(True)
plt.show() 6、PReLU
PReLUParametric Rectified Linear Unit是一种用于人工神经网络中的激活函数可用于解决梯度消失和神经元死亡等问题。PReLU与ReLURectified Linear Unit类似但具有可调参数。
PReLU的数学表达式如下
f(x) max(0, x) a * min(0, x)
其中x为输入a为可调参数。当a0时PReLU即为传统的ReLU函数。
PReLU的优势在于它可以允许负值通过使得神经元可以接收更丰富的信息。同时通过调整参数a可以控制负值部分的斜率从而提供更大的模型灵活性。
在PyTorch中可以使用torch.nn.PReLU()来创建一个PReLU的实例。
import torch as t
import matplotlib.pyplot as plt
import numpy as np
xnp.linspace(-100,100,1000)
prelut.nn.PReLU()
yprelu(t.tensor(x,dtypet.float32)).data.numpy()
plt.plot(x,y)
plt.title(PReLU)
plt.xlabel(x)
plt.ylabel(PReLU(x))
plt.grid(True)
plt.show()
