怎么看 网站开发语言,网站建设常出现的问题,wordpress 阿里云 邮件注册,网页广告有哪些网络中的网络#xff08;NiN#xff09;
LeNet、AlexNet和VGG都有一个共同的设计模式#xff1a;通过一系列的卷积层与汇聚层来提取空间结构特征#xff1b;然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。 或者NiN
LeNet、AlexNet和VGG都有一个共同的设计模式通过一系列的卷积层与汇聚层来提取空间结构特征然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。 或者可以想象在这个过程的早期使用全连接层。然而如果使用了全连接层可能会完全放弃表征的空间结构。 网络中的网络NiN提供了一个非常简单的解决方案在每个像素的通道上分别使用多层感知机Lin.Chen.Yan.2013
(NiN块)
回想一下卷积层的输入和输出由四维张量组成张量的每个轴分别对应样本、通道、高度和宽度。 另外全连接层的输入和输出通常是分别对应于样本和特征的二维张量。 NiN的想法是在每个像素位置针对每个高度和宽度应用一个全连接层。 如果我们将权重连接到每个空间位置我们可以将其视为 1 × 1 1\times 1 1×1卷积层如 sec_channels中所述或作为在每个像素位置上独立作用的全连接层。 从另一个角度看即将空间维度中的每个像素视为单个样本将通道维度视为不同特征feature。
fig_nin说明了VGG和NiN及它们的块之间主要架构差异。 NiN块以一个普通卷积层开始后面是两个 1 × 1 1 \times 1 1×1的卷积层。这两个 1 × 1 1 \times 1 1×1卷积层充当带有ReLU激活函数的逐像素全连接层。 第一层的卷积窗口形状通常由用户设置。 随后的卷积窗口形状固定为 1 × 1 1 \times 1 1×1。 fig_nin
import torch
from torch import nn
from d2l import torch as d2ldef nin_block(in_channels, out_channels, kernel_size, strides, padding):return nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size, strides, padding),nn.ReLU(),nn.Conv2d(out_channels, out_channels, kernel_size1), nn.ReLU(),nn.Conv2d(out_channels, out_channels, kernel_size1), nn.ReLU())[NiN模型]
最初的NiN网络是在AlexNet后不久提出的显然从中得到了一些启示。 NiN使用窗口形状为 11 × 11 11\times 11 11×11、 5 × 5 5\times 5 5×5和 3 × 3 3\times 3 3×3的卷积层输出通道数量与AlexNet中的相同。 每个NiN块后有一个最大汇聚层汇聚窗口形状为 3 × 3 3\times 3 3×3步幅为2。
NiN和AlexNet之间的一个显著区别是NiN完全取消了全连接层。 相反NiN使用一个NiN块其输出通道数等于标签类别的数量。最后放一个全局平均汇聚层global average pooling layer生成一个对数几率 logits。NiN设计的一个优点是它显著减少了模型所需参数的数量。然而在实践中这种设计有时会增加训练模型的时间。
net nn.Sequential(nin_block(1, 96, kernel_size11, strides4, padding0),nn.MaxPool2d(3, stride2),nin_block(96, 256, kernel_size5, strides1, padding2),nn.MaxPool2d(3, stride2),nin_block(256, 384, kernel_size3, strides1, padding1),nn.MaxPool2d(3, stride2),nn.Dropout(0.5),# 标签类别数是10nin_block(384, 10, kernel_size3, strides1, padding1),nn.AdaptiveAvgPool2d((1, 1)),# 将四维的输出转成二维的输出其形状为(批量大小,10)nn.Flatten())我们创建一个数据样本来[查看每个块的输出形状]。
X torch.rand(size(1, 1, 224, 224))
for layer in net:X layer(X)print(layer.__class__.__name__,output shape:\t, X.shape)Sequential output shape: torch.Size([1, 96, 54, 54])
MaxPool2d output shape: torch.Size([1, 96, 26, 26])
Sequential output shape: torch.Size([1, 256, 26, 26])
MaxPool2d output shape: torch.Size([1, 256, 12, 12])
Sequential output shape: torch.Size([1, 384, 12, 12])
MaxPool2d output shape: torch.Size([1, 384, 5, 5])
Dropout output shape: torch.Size([1, 384, 5, 5])
Sequential output shape: torch.Size([1, 10, 5, 5])
AdaptiveAvgPool2d output shape: torch.Size([1, 10, 1, 1])
Flatten output shape: torch.Size([1, 10])[训练模型]
和以前一样我们使用Fashion-MNIST来训练模型。训练NiN与训练AlexNet、VGG时相似。
lr, num_epochs, batch_size 0.1, 10, 128
train_iter, test_iter d2l.load_data_fashion_mnist(batch_size, resize224)
d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())loss 0.563, train acc 0.786, test acc 0.790
3087.6 examples/sec on cuda:0小结
NiN使用由一个卷积层和多个 1 × 1 1\times 1 1×1卷积层组成的块。该块可以在卷积神经网络中使用以允许更多的每像素非线性。NiN去除了容易造成过拟合的全连接层将它们替换为全局平均汇聚层即在所有位置上进行求和。该汇聚层通道数量为所需的输出数量例如Fashion-MNIST的输出为10。移除全连接层可减少过拟合同时显著减少NiN的参数。NiN的设计影响了许多后续卷积神经网络的设计。
