诸城市建设局网站,厦门建行网站首页,eyoucms去版权,婚纱摄影手机网站欣赏完整的神经网络
以分类任务为例#xff0c;神经网络一般包括backbone和head#xff08;计算机视觉领域#xff09;
下面的BasicBlock不是一个标准的backbone,标准的应该是复杂的CNNs构成的
Classfier是一个标准的head,其中output_dim表示分类类别#xff0c;一般写作num…完整的神经网络
以分类任务为例神经网络一般包括backbone和head计算机视觉领域
下面的BasicBlock不是一个标准的backbone,标准的应该是复杂的CNNs构成的
Classfier是一个标准的head,其中output_dim表示分类类别一般写作num_classes
import torch # 导入 torch 库
import torch.nn as nn # 导入 torch 的神经网络模块
import torch.nn.functional as F # 导入 torch 的函数式接口# 定义一个基础的神经网络模块
class BasicBlock(nn.Module): # 继承自 torch 的 Module 类def __init__(self, input_dim, output_dim):super(BasicBlock, self).__init__() # 初始化父类# 构建一个序列模块包含一个线性层和一个 ReLU 激活函数self.block nn.Sequential(
# 线性层输入维度为 input_dim输出维度为 output_dimnn.Linear(input_dim, output_dim), nn.ReLU(), # ReLU 激活函数)def forward(self, x):x self.block(x) # 将输入数据 x 通过定义的序列模块return x # 返回模块的输出# 定义一个分类器神经网络
class Classifier(nn.Module): # 继承自 torch 的 Module 类def __init__(self, input_dim, output_dim41, hidden_layers1, hidden_dim256):super(Classifier, self).__init__() # 初始化父类# 构建一个序列模块包含若干个 BasicBlock 和一个线性输出层self.fc nn.Sequential(
# 第一个 BasicBlock将输入维度转换为隐藏层维度BasicBlock(input_dim, hidden_dim),
# 根据 hidden_layers 数量添加多个 BasicBlock*[BasicBlock(hidden_dim, hidden_dim) for _ in range(hidden_layers)],
# 线性输出层将隐藏层维度转换为输出维度nn.Linear(hidden_dim, output_dim) )def forward(self, x):x self.fc(x) # 将输入数据 x 通过定义的序列模块return x # 返回模块的输出对 *[BasicBlock(hidden_dim, hidden_dim) for _ in range(hidden_layers)]的一个补充解释“*”代表解压列表例如A[a,b,c]那么f(*A)f(a,b,c)
在这里的具体意义是“便于控制隐藏层数量”而其中的_代表不希望在循环中使用变量这是一种通用的惯例表明循环的目的不是对每个元素进行操作而是为了重复某个操作特定次数。如果hidden_layers3这里的等价含义就是BasicBlock(hidden_dim, hidden_dim)BasicBlock(hidden_dim, hidden_dim)BasicBlock(hidden_dim, hidden_dim)——连续出现三次 dropout
Dropout层在神经网络层当中是用来干什么的呢它是一种可以用于减少神经网络过拟合的结构。 如上图我们定义的网络,一共有四个输入x_i一个输出y。Dropout则是在每一个batch的训练当中随机减掉一些神经元而作为编程者我们可以设定每一层dropout将神经元去除的的多少的概率在设定之后就可以得到第一个batch进行训练的结果 从上图我们可以看到一些神经元之间断开了连接因此它们被dropout了dropout顾名思义就是被拿掉的意思正因为我们在神经网络当中拿掉了一些神经元所以才叫做dropout层。 在进行第一个batch的训练时有以下步骤
设定每一个神经网络层进行dropout的概率根据相应的概率拿掉一部分的神经元然后开始训练更新没有被拿掉神经元以及权重的参数将其保留参数全部更新之后又重新根据相应的概率拿掉一部分神经元然后开始训练如果新用于训练的神经元已经在第一次当中训练过那么我们继续更新它的参数。而第二次被剪掉的神经元同时第一次已经更新过参数的我们保留它的权重不做修改直到第n次batch进行dropout时没有将其删除。
