做网站企业的发展前景,设计模板的软件,网站优化建议怎么写,哪些网站建设公司好目录 一、卷积1.1 卷积的概念1.2 卷积可视化1.3 卷积的维度1.4 nn.Conv2d1.4.1 无padding 无stride卷积1.4.2 无padding stride2卷积1.4.3 padding2的卷积1.4.4 空洞卷积1.4.5 分组卷积 1.5 卷积输出尺寸计算1.6 卷积的维度1.7 转置卷积1.7.1 为什么被称为转置卷积1.7.2 nn.Con… 目录 一、卷积1.1 卷积的概念1.2 卷积可视化1.3 卷积的维度1.4 nn.Conv2d1.4.1 无padding 无stride卷积1.4.2 无padding stride2卷积1.4.3 padding2的卷积1.4.4 空洞卷积1.4.5 分组卷积 1.5 卷积输出尺寸计算1.6 卷积的维度1.7 转置卷积1.7.1 为什么被称为转置卷积1.7.2 nn.ConvTranspose2d1.7.3 转置卷积的计算方法1.7.4 核心代码 二、池化层Pooling Layer2.1 池化的概念2.2 nn.MaxPool2d2.2.1 代码实现 2.3 nn.AvgPool2d2.3.1 代码实现 2.4 最大池化与平均池化区别2.5 nn.MaxUnpool2d2.5.1 核心代码实现 三、线性层Linear Layer3.1nn.Linear 四、激活函数层Activation Layer4.1 概念4.2 nn.Sigmoid激活函数4.3 nn.tanh激活函数4.4 nn.ReLU激活函数4.5 ReLU变体形式 一、卷积
1.1 卷积的概念
卷积运算卷积核在输入信号图像上滑动相应位置上进行乘加 卷积核又称为滤波器过滤器可认为是某种模式某种特征。 卷积过程类似于用一个模版去图像上寻找与它相似的区域与卷积核模式越相似激活值越高从而实现特征提取。
1.2 卷积可视化
AlexNet这篇论文对卷积核进行了可视化发现卷积核学习到的是边缘条纹色彩这一些细节模式但是只有前几层卷积提取的特征可视化较为明显随着网络的加深卷积次数的增加特征可视化也逐渐模糊。
1.3 卷积的维度
卷积维度一般情况下卷积核在几个维度上滑动就是几维卷积下面三幅图分别是一维卷积、二维卷积、三维卷积。我们常见的图片特征提取使用的是二维卷积conv2d在医学图像领域用于癌细胞切片分析使用的是三维卷积conv3d。
1.4 nn.Conv2d 功能对多个二维信号进行二维卷积例如图片 主要参数 • in_channels输入通道数 • out_channels输出通道数等价于卷积核个数 • kernel_size卷积核尺寸 • stride步长卷积核每次移动的长度 • padding 图片边缘填充个数 • dilation空洞卷积大小常用于图像分割任务用来提升感受野 • groups分组卷积设置 • bias偏置 1.4.1 无padding 无stride卷积
每次在原图滑动1个单位
1.4.2 无padding stride2卷积
每次在原图滑动两个单位
1.4.3 padding2的卷积
在原图的边缘增加2个单位的填充。
1.4.4 空洞卷积 1.4.5 分组卷积
同一种张图片使用两个不同的GPU进行训练最后将两张GPU提取的特征进行融合。
1.5 卷积输出尺寸计算 完整尺寸计算公式 一般我们输入的图像都会进行预处理将长宽变为相同大小所以H,W两个公式可以看为相等。
1.6 卷积的维度
卷积维度一般情况下卷积核在几个维度上滑动就是几维卷积我们的图像是二维图像卷积核的维度也是二维。 我们的图像是RGB三个通道所以会在三个二维图像上进行滑动提取特征最后将红绿蓝三个通道特征提取之后进行相加得到一个output特征图。
1.7 转置卷积 转置卷积又称为反卷积(Deconvolution)和部分跨越卷积(Fractionallystrided Convolution) 用于对图像进行上采样(UpSample) 1.7.1 为什么被称为转置卷积 正常卷积图片经过卷积之后等到的特征图尺寸会比原图小 而转置卷积经过卷积核之后会将原图尺寸方法常用于上采样提升图片的尺度 1.7.2 nn.ConvTranspose2d
功能转置卷积实现上采样 主要参数 • in_channels输入通道数 • out_channels输出通道数 • kernel_size卷积核尺寸 • stride步长 • padding 填充个数 • dilation空洞卷积大小 • groups分组卷积设置 • bias偏置
1.7.3 转置卷积的计算方法 完整版本
1.7.4 核心代码
flag 1
if flag:conv_layer nn.ConvTranspose2d(3, 1, 3, stride2) # input:(i, o, size)nn.init.xavier_normal_(conv_layer.weight.data)# calculationimg_conv conv_layer(img_tensor)输出结果
二、池化层Pooling Layer
2.1 池化的概念
池化运算对信号进行 “收集”并 “总结”类似水池收集水资源因而得名池化层“收集”多变少“总结”最大值/平均值 池化有最大池化和平均池化 最大池化取池化范围内最大的数下图中池化范围2x2取每个池化范围内数值最大的 平均池化取池化范围内的平均值下图中池化范围2x2取每个池化范围内数值之和再求平均 2.2 nn.MaxPool2d 功能对二维信号图像进行最大值池化 主要参数 • kernel_size池化核尺寸 • stride步长 • padding 填充个数 • dilation池化核间隔大小 • ceil_mode尺寸向上取整 • return_indices记录池化像素索引 2.2.1 代码实现
import os
import torch
import random
import numpy as np
import torchvision
import torch.nn as nn
from torchvision import transforms
from matplotlib import pyplot as plt
from PIL import Image
from common_tools import transform_invert, set_seedset_seed(1) # 设置随机种子# load img
path_img os.path.join(os.path.dirname(os.path.abspath(__file__)), lena.png)
img Image.open(path_img).convert(RGB) # 0~255# convert to tensor
img_transform transforms.Compose([transforms.ToTensor()])
img_tensor img_transform(img)
img_tensor.unsqueeze_(dim0) # C*H*W to B*C*H*W# maxpool
flag 1
# flag 0
if flag:maxpool_layer nn.MaxPool2d((2, 2), stride(2, 2)) #这里为什么池化和步长都设置(2,2)是为了保证每次池化的区域不重叠img_pool maxpool_layer(img_tensor)
# 展示图像
print(池化前尺寸:{}\n池化后尺寸:{}.format(img_tensor.shape, img_pool.shape))
img_pool transform_invert(img_pool[0, 0:3, ...], img_transform)
img_raw transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_pool)
plt.subplot(121).imshow(img_raw)
plt.show()输出结果图片大小为原来的一半
2.3 nn.AvgPool2d 功能对二维信号图像进行平均值池化 主要参数 • kernel_size池化核尺寸 • stride步长 • padding 填充个数 • ceil_mode尺寸向上取整 • count_include_pad填充值用于计算 • divisor_override 除法因子 2.3.1 代码实现
核心代码
flag 1
# flag 0
if flag:avgpoollayer nn.AvgPool2d((2, 2), stride(2, 2)) # input:(i, o, size) weights:(o, i , h, w)img_pool avgpoollayer(img_tensor)输出结果
2.4 最大池化与平均池化区别
下面第一幅图是最大池化第二幅图是平均池化因为最大池化取的是一个区域内的最大值所以第一幅图比第二幅图某些区域更亮特征更明显。
2.5 nn.MaxUnpool2d 功能对二维信号图像进行最大值池化进行上采样但是需要根据池化中的最大值位置索引进行上采样例如[1,2,0,1]经过最大池化取第二个位置当前索引为2所以[3,2,1,7]进行上采样其中3是在上采样后索引为2的位置上其他区域为0. 主要参数 • kernel_size池化核尺寸 • stride步长 • padding 填充个数 2.5.1 核心代码实现
flag 1
if flag:# poolingimg_tensor torch.randint(high5, size(1, 1, 4, 4), dtypetorch.float) # 生成特征图maxpool_layer nn.MaxPool2d((2, 2), stride(2, 2), return_indicesTrue) # 设置池化层img_pool, indices maxpool_layer(img_tensor) #获取池化后的数据以及索引# unpoolingimg_reconstruct torch.randn_like(img_pool, dtypetorch.float) #根据img_poolshape随机构建数据maxunpool_layer nn.MaxUnpool2d((2, 2), stride(2, 2)) #搭建最大池化上采样层img_unpool maxunpool_layer(img_reconstruct, indices)print(raw_img:\n{}\nimg_pool:\n{}.format(img_tensor, img_pool))print(索引位置{}.format(indices))print(img_reconstruct:\n{}\nimg_unpool:\n{}.format(img_reconstruct, img_unpool))输出结果
三、线性层Linear Layer 线性层又称全连接层其每个神经元与上一层所有神经元相连实现对前一层的线性组合线性变换。 输入的input[1,2,3]经过加权相乘得到的hidden[6,1,18,24] 3.1nn.Linear 功能对一维信号向量进行线性组合 主要参数 • in_features输入结点数 • out_features输出结点数 • bias 是否需要偏置 计算公式y * 代码实现
flag 1
if flag:inputs torch.tensor([[1., 2, 3]])linear_layer nn.Linear(3, 4)linear_layer.weight.data torch.tensor([[1., 1., 1.],[2., 2., 2.],[3., 3., 3.],[4., 4., 4.]])linear_layer.bias.data.fill_(0.5) # 偏执项x*wboutput linear_layer(inputs)print(inputs, inputs.shape)print(linear_layer.weight.data, linear_layer.weight.data.shape)print(output, output.shape)输出结果
四、激活函数层Activation Layer
4.1 概念
激活函数对特征进行非线性变换赋予多层神经网络具有深度的意义。 为什么要使用激活函数呢因为输入的特征只是通过线性变换不过是经过多层网络都还是线性变换就如下面这幅图的计算公式一样。
4.2 nn.Sigmoid激活函数 函数图像 计算公式 4.3 nn.tanh激活函数 函数图像 计算公式 4.4 nn.ReLU激活函数 函数图像 计算公式 4.5 ReLU变体形式 nn.LeakyReLU:在负半轴添加一点斜率 nn.PReLU将负半轴的斜率变为可学习的 nn.RReLU负半轴的斜率上下均匀分布
