江苏网站建设联系方式,韩国时尚网站欣赏,电商网站开发难点,中国建筑中心官网注#xff1a;本文为《动手学深度学习》开源内容#xff0c;部分标注了个人理解#xff0c;仅为个人学习记录#xff0c;无抄袭搬运意图 4.4 自定义层
深度学习的一个魅力在于神经网络中各式各样的层#xff0c;例如全连接层和后面章节中将要介绍的卷积层、池化层与循环层… 注本文为《动手学深度学习》开源内容部分标注了个人理解仅为个人学习记录无抄袭搬运意图 4.4 自定义层
深度学习的一个魅力在于神经网络中各式各样的层例如全连接层和后面章节中将要介绍的卷积层、池化层与循环层。虽然PyTorch提供了大量常用的层但有时候我们依然希望自定义层。本节将介绍如何使用Module来自定义层从而可以被重复调用。
4.4.1 不含模型参数的自定义层
我们先介绍如何定义一个不含模型参数的自定义层。事实上这和4.1节模型构造中介绍的使用Module类构造模型类似。下面的CenteredLayer类通过继承Module类自定义了一个将输入减掉均值后输出的层并将层的计算定义在了forward函数里。这个层里不含模型参数。
import torch
from torch import nnclass CenteredLayer(nn.Module):def __init__(self, **kwargs):super(CenteredLayer, self).__init__(**kwargs)def forward(self, x):return x - x.mean()我们可以实例化这个层然后做前向计算。
layer CenteredLayer()
layer(torch.tensor([1, 2, 3, 4, 5], dtypetorch.float))输出
tensor([-2., -1., 0., 1., 2.])我们也可以用它来构造更复杂的模型。
net nn.Sequential(nn.Linear(8, 128), CenteredLayer())下面打印自定义层各个输出的均值。因为均值是浮点数所以它的值是一个很接近0的数。
y net(torch.rand(4, 8))
y.mean().item()输出
0.04.4.2 含模型参数的自定义层
我们还可以自定义含模型参数的自定义层。其中的模型参数可以通过训练学出。
在4.2节模型参数的访问、初始化和共享中介绍了Parameter类其实是Tensor的子类如果一个Tensor是Parameter那么它会自动被添加到模型的参数列表里。所以在自定义含模型参数的层时我们应该将参数定义成Parameter除了像4.2.1节那样直接定义成Parameter类外还可以使用ParameterList和ParameterDict分别定义参数的列表和字典。
ParameterList接收一个Parameter实例的列表作为输入然后得到一个参数列表使用的时候可以用索引来访问某个参数另外也可以使用append和extend在列表后面新增参数。
class MyDense(nn.Module):def __init__(self):super(MyDense, self).__init__()self.params nn.ParameterList([nn.Parameter(torch.randn(4, 4)) for i in range(3)])self.params.append(nn.Parameter(torch.randn(4, 1)))def forward(self, x):for i in range(len(self.params)):x torch.mm(x, self.params[i])return x
net MyDense()
print(net)输出
MyDense((params): ParameterList((0): Parameter containing: [torch.FloatTensor of size 4x4](1): Parameter containing: [torch.FloatTensor of size 4x4](2): Parameter containing: [torch.FloatTensor of size 4x4](3): Parameter containing: [torch.FloatTensor of size 4x1])
)而ParameterDict接收一个Parameter实例的字典作为输入然后得到一个参数字典然后可以按照字典的规则使用了。例如使用update()新增参数使用keys()返回所有键值使用items()返回所有键值对等等可参考官方文档。
class MyDictDense(nn.Module):def __init__(self):super(MyDictDense, self).__init__()self.params nn.ParameterDict({linear1: nn.Parameter(torch.randn(4, 4)),linear2: nn.Parameter(torch.randn(4, 1))})self.params.update({linear3: nn.Parameter(torch.randn(4, 2))}) # 新增def forward(self, x, choicelinear1):return torch.mm(x, self.params[choice])net MyDictDense()
print(net)输出
MyDictDense((params): ParameterDict((linear1): Parameter containing: [torch.FloatTensor of size 4x4](linear2): Parameter containing: [torch.FloatTensor of size 4x1](linear3): Parameter containing: [torch.FloatTensor of size 4x2])
)这样就可以根据传入的键值来进行不同的前向传播
x torch.ones(1, 4)
print(net(x, linear1))
print(net(x, linear2))
print(net(x, linear3))输出
tensor([[1.5082, 1.5574, 2.1651, 1.2409]], grad_fnMmBackward)
tensor([[-0.8783]], grad_fnMmBackward)
tensor([[ 2.2193, -1.6539]], grad_fnMmBackward)我们也可以使用自定义层构造模型。它和PyTorch的其他层在使用上很类似。
net nn.Sequential(MyDictDense(),MyListDense(),
)
print(net)
print(net(x))输出
Sequential((0): MyDictDense((params): ParameterDict((linear1): Parameter containing: [torch.FloatTensor of size 4x4](linear2): Parameter containing: [torch.FloatTensor of size 4x1](linear3): Parameter containing: [torch.FloatTensor of size 4x2]))(1): MyListDense((params): ParameterList((0): Parameter containing: [torch.FloatTensor of size 4x4](1): Parameter containing: [torch.FloatTensor of size 4x4](2): Parameter containing: [torch.FloatTensor of size 4x4](3): Parameter containing: [torch.FloatTensor of size 4x1]))
)
tensor([[-101.2394]], grad_fnMmBackward)小结
可以通过Module类自定义神经网络中的层从而可以被重复调用。 注本节与原书此节有一些不同原书传送门
