福州市城乡建设网站张麒蛰,网站建设心得小结,网站制作费用是多少,c 网站做微信支付功能文章目录 大数据深度学习ResNet深度残差网络详解#xff1a;网络结构解读与PyTorch实现教程一、深度残差网络#xff08;Deep Residual Networks#xff09;简介深度学习与网络深度的挑战残差学习的提出为什么ResNet有效#xff1f; 二、深度学习与梯度消失问题梯度消失问题… 文章目录 大数据深度学习ResNet深度残差网络详解网络结构解读与PyTorch实现教程一、深度残差网络Deep Residual Networks简介深度学习与网络深度的挑战残差学习的提出为什么ResNet有效 二、深度学习与梯度消失问题梯度消失问题定义为什么会出现梯度消失激活函数初始化方法网络深度 如何解决梯度消失问题 三、残差块Residual Blocks基础残差块的核心思想结构组成残差块的变体 四、ResNet架构架构组成 4.1 初始卷积层功能和作用结构详解为何不使用多个小卷积核?小结 4.2 残差块组Residual Block Groups功能和作用结构详解残差块组与特征图大小小结 4.3 全局平均池化Global Average Pooling功能和作用结构详解与全连接层的比较小结 4.4 全连接层Fully Connected Layer功能和作用结构详解激活函数与Dropout小结 五、实战使用PyTorch构建ResNet模型5.1 构建ResNet模型前置条件构建Residual Block构建ResNet-18模型测试 5.2 训练与评估数据预处理与加载模型训练模型评估 六、总结六、总结 大数据深度学习ResNet深度残差网络详解网络结构解读与PyTorch实现教程 本文深入探讨了深度残差网络ResNet的核心概念和架构组成。我们从深度学习和梯度消失问题入手逐一解析了残差块、初始卷积层、残差块组、全局平均池化和全连接层的作用和优点。文章还包含使用PyTorch构建和训练ResNet模型的实战部分带有详细的代码和解释。 一、深度残差网络Deep Residual Networks简介
深度残差网络Deep Residual Networks简称ResNet自从2015年首次提出以来就在深度学习领域产生了深远影响。通过一种创新的“残差学习”机制ResNet成功地训练了比以往模型更深的神经网络从而显著提高了多个任务的性能。深度残差网络通过引入残差学习和特殊的网络结构解决了传统深度神经网络中的梯度消失问题并实现了高效、可扩展的深层模型。
深度学习与网络深度的挑战
在深度学习中网络的“深度”即层数通常与模型的能力成正比。然而随着网络深度的增加一些问题也随之出现最突出的是梯度消失/爆炸问题。这使得深层网络难以训练。
残差学习的提出 传统的深度神经网络试图学习目标函数 ( H(x) )但是在ResNet中每个网络层实际上学习的是一个残差函数 ( F(x) H(x) - x )。然后这个残差结果与输入 ( x ) 相加形成 ( H(x) F(x) x )。这一机制使得网络更容易学习身份映射进而缓解了梯度消失问题。
# PyTorch中的残差块实现
import torch
import torch.nn as nnclass ResidualBlock(nn.Module):def __init__(self, in_channels, out_channels, stride1):super(ResidualBlock, self).__init__()self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1)self.bn1 nn.BatchNorm2d(out_channels)self.relu nn.ReLU(inplaceTrue)self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1)self.bn2 nn.BatchNorm2d(out_channels)self.shortcut nn.Sequential()if stride ! 1 or in_channels ! out_channels:self.shortcut nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride),nn.BatchNorm2d(out_channels))def forward(self, x):out self.relu(self.bn1(self.conv1(x)))out self.bn2(self.conv2(out))out self.shortcut(x)out self.relu(out)return out# 输出示例
x torch.randn(64, 3, 32, 32)
block ResidualBlock(3, 64)
out block(x)
print(out.shape) # 输出torch.Size([64, 64, 32, 32])为什么ResNet有效
解决梯度消失问题通过残差连接梯度能够更容易地反向传播。参数效率与传统的深层网络相比ResNet能以更少的参数实现更好的性能。 二、深度学习与梯度消失问题
在深入研究深度残差网络ResNet之前理解梯度消失问题是至关重要的。该问题长期以来一直是训练深层神经网络的主要难点。本节将讲解梯度消失问题的基本原理以及这一问题如何影响深度学习模型的训练。
梯度消失问题定义
梯度消失问题发生在神经网络的反向传播过程中具体表现为网络中某些权重的梯度接近或变为零。这导致这些权重几乎不会更新从而阻碍了网络的训练。
数学上假设我们有一个误差函数 ( E )对于网络中的某个权重 ( w )如果 ( \frac{\partial E}{\partial w} ) 趋近于零则表明出现了梯度消失问题。
为什么会出现梯度消失
激活函数
使用Sigmoid或者Tanh等饱和激活函数时其导数在两端极小这很容易导致梯度消失。
初始化方法
权重初始化不当也可能导致梯度消失。例如如果初始化权重过小那么激活函数的输出和梯度都可能非常小。
网络深度
网络越深梯度在反向传播过程中经过的层就越多导致梯度消失问题更加严重。
如何解决梯度消失问题
使用ReLU激活函数ReLURectified Linear Unit激活函数能够缓解梯度消失。合适的权重初始化如He初始化或Glorot初始化。使用短接结构Skip Connections这是ResNet解决梯度消失问题的核心机制。
# 使用ReLU和He初始化的简单示例
import torch.nn as nnclass SimpleNetwork(nn.Module):def __init__(self):super(SimpleNetwork, self).__init__()self.layer1 nn.Linear(10, 50)nn.init.kaiming_normal_(self.layer1.weight, nonlinearityrelu) # He初始化self.relu nn.ReLU()def forward(self, x):x self.layer1(x)x self.relu(x)return x# 输出示例
x torch.randn(32, 10)
model SimpleNetwork()
out model(x)
print(out.shape) # 输出torch.Size([32, 50])三、残差块Residual Blocks基础
残差块Residual Blocks是深度残差网络Deep Residual Networks或ResNet中的基本构建单元。通过使用残差块ResNet有效地解决了梯度消失问题并能训练极深的网络。本节将深入探讨残差块的基础概念、设计与实现。残差块作为ResNet的基础组成部分其设计充分考虑了训练稳定性和模型性能。通过引入残差学习和短接连接ResNet能够有效地训练深度网络从而在多个任务上达到先进的性能。
残差块的核心思想
在传统的卷积神经网络CNN中每个卷积层试图学习输入与输出之间的映射。残差块则采用了不同的策略它们试图学习输入与输出之间的残差映射即
[ F(x) H(x) - x ]
其中( F(x) ) 是残差函数( H(x) ) 是目标映射函数( x ) 是输入。然后( F(x) ) 与输入 ( x ) 相加得到最终输出
[ H(x) F(x) x ]
结构组成
一个基础的残差块通常包含以下几个部分
卷积层用于特征提取。批量归一化Batch Normalization用于加速训练和改善模型泛化。激活函数通常使用ReLU。短接连接Skip Connection直接连接输入和输出。
# 残差块的PyTorch实现
import torch
import torch.nn as nnclass ResidualBlock(nn.Module):def __init__(self, in_channels, out_channels, stride1):super(ResidualBlock, self).__init__()self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1)self.bn1 nn.BatchNorm2d(out_channels)self.relu nn.ReLU(inplaceTrue)self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1)self.bn2 nn.BatchNorm2d(out_channels)self.shortcut nn.Sequential()if stride ! 1 or in_channels ! out_channels:self.shortcut nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride),nn.BatchNorm2d(out_channels))def forward(self, x):out self.relu(self.bn1(self.conv1(x)))out self.bn2(self.conv2(out))out self.shortcut(x)out self.relu(out)return out# 输出示例
x torch.randn(64, 3, 32, 32)
block ResidualBlock(3, 64)
out block(x)
print(out.shape) # 输出torch.Size([64, 64, 32, 32])残差块的变体
Bottleneck Blocks在更深的ResNet如ResNet-152中为了减少计算量通常使用“瓶颈”结构即先通过一个小的卷积核如1x1降维再进行3x3卷积最后通过1x1卷积恢复维度。 四、ResNet架构 本节将介绍ResNet深度残差网络的整体架构以及它在计算机视觉和其他领域的应用。一个标准的ResNet模型由多个残差块组成通常开始于一个普通的卷积层和池化层用于进行初步的特征提取。接下来是一系列的残差块最后是全局平均池化层和全连接层。
架构组成
初始卷积层用于初步特征提取。残差块组Residual Blocks Group包含多个残差块。全局平均池化Global Average Pooling减小维度。全连接层用于分类或其他任务。
4.1 初始卷积层 在进入深度残差网络的主体结构之前第一层通常是一个初始卷积层。这个卷积层的主要任务是对输入图像进行一定程度的空间下采样Spatial Downsampling和特征抽取。
功能和作用
空间下采样Spatial Downsampling: 初始卷积层通常具有较大的卷积核和步长stride用于减少后续层需要处理的空间维度从而降低计算复杂度。特征抽取: 初始卷积层能够抓取图像的基础特征如边缘、纹理等为后续的特征抽取工作打下基础。
结构详解
在ResNet-18和ResNet-34中这一初始卷积层通常由一个7x7大小的卷积核、步长stride为2和填充padding为3组成。这个层后面通常还会跟随一个批量归一化Batch Normalization层和ReLU激活函数。
self.conv1 nn.Conv2d(3, 64, kernel_size7, stride2, padding3)
self.bn1 nn.BatchNorm2d(64)
self.relu nn.ReLU(inplaceTrue)为何不使用多个小卷积核?
在一些其他网络架构中初始层可能由多个小卷积核如3x3组成那么为什么ResNet要使用一个较大的7x7卷积核呢主要原因是一个大的卷积核可以在相同数量的参数下提供更大的感受野Receptive Field从而更有效地捕获图像的全局信息。
小结
初始卷积层在整个ResNet架构中扮演着非常重要的角色。它不仅完成了对输入图像的基础特征抽取还通过空间下采样减轻了后续计算的负担。这些设计细节共同使得ResNet能在保持高性能的同时具有更低的计算复杂度。
4.2 残差块组Residual Block Groups 在初始卷积层之后紧接着就是ResNet的核心组成部分也就是残差块组Residual Block Groups。这些残差块组成了ResNet架构中的主体负责高级特征的抽取和传递。
功能和作用
特征抽取: 每个残差块组负责从其前一组中提取的特征中提取更高级的特征。非线性性能增强: 通过残差链接每个残差块组能够学习输入与输出之间的复杂非线性映射。避免梯度消失和爆炸: 残差块组内的Skip Connection跳过连接能够更好地传递梯度有助于训练更深的网络。
结构详解
在标准的ResNet-18或ResNet-34模型中通常会包括几组残差块。每一组都有一定数量的残差块这些块的数量和组的深度有关。
第一组可能包括2个残差块用64个输出通道。第二组可能包括2个残差块用128个输出通道。第三组可能包括2个残差块用256个输出通道。第四组可能包括2个残差块用512个输出通道。
# 示例代码表示第一组残差块
self.layer1 nn.Sequential(ResidualBlock(64, 64),ResidualBlock(64, 64)
)残差块组与特征图大小
每一组的第一个残差块通常会减小特征图的尺寸即进行下采样而增加输出通道数。这样做可以保证模型的计算效率同时能抓住更多层次的特征。
小结
残差块组是ResNet架构中最核心的部分通过逐层抽取更高级的特征并通过残差连接优化梯度流动这些设计使得ResNet模型能够有效并且准确地进行图像分类以及其他计算机视觉任务。
4.3 全局平均池化Global Average Pooling 在通过一系列残差块组进行特征抽取和非线性映射之后ResNet通常使用全局平均池化层Global Average Pooling简称GAP作为网络的最后一个卷积层。与传统的全连接层相比全局平均池化有几个显著优点。
功能和作用
降维: 全局平均池化层将每个特征图Feature Map缩减为一个单一的数值从而显著减小模型参数和计算量。防止过拟合: 由于其简单性和少量的参数全局平均池化有助于防止模型过拟合。改善泛化能力: 简化的网络结构能更好地泛化到未见过的数据。
结构详解
全局平均池化层简单地计算每个特征图的平均值。假设我们有一个形状为(batch_size, num_channels, height, width)的特征图全局平均池化将输出一个形状为(batch_size, num_channels)的张量。
# PyTorch中的全局平均池化
self.global_avg_pooling nn.AdaptiveAvgPool2d((1, 1))与全连接层的比较
在许多传统的卷积神经网络如AlexNet中网络的末端通常包括几个全连接层。然而全连接层往往包含大量的参数从而增加了过拟合的风险。与之相比全局平均池化由于其参数更少、计算更简单因此更受现代深度学习架构的青睐。
小结
全局平均池化是ResNet架构的一个重要组成部分它不仅显著减小了模型的参数数量还有助于提高模型的泛化能力。这些优点使得全局平均池化在许多现代卷积神经网络中都有广泛的应用。
4.4 全连接层Fully Connected Layer 在全局平均池化GAP之后ResNet架构通常包含一个或多个全连接层Fully Connected Layer。全连接层在ResNet中的主要目的是为了进行分类或者回归任务。
功能和作用
分类或回归: 全连接层的主要任务是根据前层特征进行分类或回归。增加模型复杂度: 相比GAP全连接层可以增加模型的复杂度从而拟合更复杂的函数。特征整合: 全连接层能够整合前面各层的信息输出一个固定大小的特征向量。
结构详解
全连接层通常接收全局平均池化层输出的平坦化flattened向量并通过一系列线性变换与激活函数生成输出。例如在分类问题中全连接层通常输出一个与类别数相等的节点。
# PyTorch中的全连接层示例
self.fc nn.Linear(512, num_classes) # 假设全局平均池化后有512个通道num_classes为分类数量激活函数与Dropout
全连接层之后通常会接一个激活函数如ReLU或者Softmax以引入非线性。有时也会使用Dropout层来防止过拟合尤其是在全连接层的节点数较多时。
小结
虽然全连接层相对简单但它在ResNet以及其他深度学习模型中占据重要地位。全连接层是进行分类或回归的关键同时也为模型提供了最后的机会进行特征整合和学习复杂映射。 五、实战使用PyTorch构建ResNet模型
5.1 构建ResNet模型
在这一部分中我们将使用PyTorch框架来实现一个简化版的ResNet-18模型。我们的目标是构建一个可以在CIFAR-10数据集上进行分类任务的模型。
前置条件
确保您已经安装了PyTorch和其他必要的库。
pip install torch torchvision构建Residual Block
首先让我们实现一个残差块。这是前面章节已经介绍过的内容。
import torch
import torch.nn as nnclass ResidualBlock(nn.Module):def __init__(self, in_channels, out_channels, stride1):super(ResidualBlock, self).__init__()self.conv1 nn.Conv2d(in_channels, out_channels, kernel_size3, stridestride, padding1)self.bn1 nn.BatchNorm2d(out_channels)self.relu nn.ReLU(inplaceTrue)self.conv2 nn.Conv2d(out_channels, out_channels, kernel_size3, stride1, padding1)self.bn2 nn.BatchNorm2d(out_channels)self.shortcut nn.Sequential()if stride ! 1 or in_channels ! out_channels:self.shortcut nn.Sequential(nn.Conv2d(in_channels, out_channels, kernel_size1, stridestride),nn.BatchNorm2d(out_channels))构建ResNet-18
接下来我们使用残差块来构建完整的ResNet-18模型。
class ResNet18(nn.Module):def __init__(self, num_classes10):super(ResNet18, self).__init__()self.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1)self.bn1 nn.BatchNorm2d(64)self.relu nn.ReLU(inplaceTrue)self.layer1 self._make_layer(64, 64, 2)self.layer2 self._make_layer(64, 128, 2, stride2)self.layer3 self._make_layer(128, 256, 2, stride2)self.layer4 self._make_layer(256, 512, 2, stride2)self.avgpool nn.AdaptiveAvgPool2d((1, 1))self.fc nn.Linear(512, num_classes)def _make_layer(self, in_channels, out_channels, blocks, stride1):layers []layers.append(ResidualBlock(in_channels, out_channels, stride))for _ in range(1, blocks):layers.append(ResidualBlock(out_channels, out_channels))return nn.Sequential(*layers)def forward(self, x):x self.conv1(x)x self.bn1(x)x self.relu(x)x self.layer1(x)x self.layer2(x)x self.layer3(x)x self.layer4(x)x self.avgpool(x)x torch.flatten(x, 1)x self.fc(x)return x以上代码定义了一个用于CIFAR-10分类任务的ResNet-18模型。在这个模型中我们使用了前面定义的ResidualBlock类并通过_make_layer函数来堆叠多个残差块。
模型测试
接下来我们可以测试这个模型以确保其结构是正确的。
# 创建一个模拟输入
x torch.randn(64, 3, 32, 32)# 实例化模型
model ResNet18(num_classes10)# 前向传播
output model(x)# 输出形状应为(64, 10)因为我们有64个样本和10个类别
print(output.shape) # 输出torch.Size([64, 10])5.2 训练与评估
在成功构建了ResNet-18模型之后下一步就是进行模型的训练和评估。在这一部分我们将介绍如何在CIFAR-10数据集上完成这两个步骤。
数据预处理与加载
首先我们需要准备数据。使用PyTorch的torchvision库我们可以非常方便地下载和预处理CIFAR-10数据集。
import torch
import torchvision
import torchvision.transforms as transforms# 数据预处理
transform transforms.Compose([transforms.RandomCrop(32, padding4),transforms.RandomHorizontalFlip(),transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
])# 加载数据集
trainset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform)
trainloader torch.utils.data.DataLoader(trainset, batch_size128, shuffleTrue)testset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform)
testloader torch.utils.data.DataLoader(testset, batch_size128, shuffleFalse)模型训练
训练模型通常需要指定损失函数和优化器并反复进行前向传播、计算损失、反向传播和参数更新。
import torch.optim as optim# 实例化模型并移至GPU
model ResNet18(num_classes10).cuda()# 定义损失函数和优化器
criterion nn.CrossEntropyLoss()
optimizer optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4)# 训练模型
for epoch in range(10): # 运行10个周期for i, data in enumerate(trainloader, 0):inputs, labels datainputs, labels inputs.cuda(), labels.cuda()# 清零梯度缓存optimizer.zero_grad()# 前向传播计算损失反向传播outputs model(inputs)loss criterion(outputs, labels)loss.backward()# 更新参数optimizer.step()模型评估
训练完成后我们需要评估模型的性能。这通常通过在测试集上计算模型的准确率来完成。
# 切换模型为评估模式
model.eval()correct 0
total 0
with torch.no_grad():for data in testloader:images, labels dataimages, labels images.cuda(), labels.cuda()outputs model(images)_, predicted torch.max(outputs.data, 1)total labels.size(0)correct (predicted labels).sum().item()print(fAccuracy of the network on the 10000 test images: {100 * correct / total}%)六、总结
上计算模型的准确率来完成。
# 切换模型为评估模式
model.eval()correct 0
total 0
with torch.no_grad():for data in testloader:images, labels dataimages, labels images.cuda(), labels.cuda()outputs model(images)_, predicted torch.max(outputs.data, 1)total labels.size(0)correct (predicted labels).sum().item()print(fAccuracy of the network on the 10000 test images: {100 * correct / total}%)六、总结
通过深入探讨ResNet的关键组成部分包括深度残差网络、梯度消失问题、残差块、初始卷积层、残差块组、全局平均池化以及全连接层我们不仅理解了其背后的设计思想和优势还通过PyTorch实现了一个完整的ResNet模型并进行了训练与评估。ResNet通过其独特的残差连接有效地解决了深度网络中的梯度消失问题并且在多项视觉任务中实现了突破性的性能。这些优点使得ResNet成为现代深度学习架构中不可或缺的一部分。
