外贸快车做网站怎么样,企业网站建设 骆诗设计,国外访问国内网站速度,iis怎么做IP网站模型保存与提取1. 整个模型 保存-载入2. 仅模型参数 保存-载入3. GPU/CPU模型保存与导入4. net.eval()--固定模型随机项神经网络模型在线训练完之后需要保存下来#xff0c;以便下次使用时可以直接导入已经训练好的模型。pytorch 提供两种方式保存模型:方式1#xff1a;保存整…
模型保存与提取1. 整个模型 保存-载入2. 仅模型参数 保存-载入3. GPU/CPU模型保存与导入4. net.eval()--固定模型随机项神经网络模型在线训练完之后需要保存下来以便下次使用时可以直接导入已经训练好的模型。pytorch 提供两种方式保存模型:方式1保存整个网络载入时直接载入整个网络优点代码简单缺点需要的存储空间大
方式2只保存网络参数载入时需要先建立与原来网络一样结构的网络然后将网络参数导入到该网络中方式2的优缺点与方式1相反。
1. 整个模型 保存-载入
模型的结构参数都保存下来了
# 保存模型设置 保存目录 和 保存文件名.扩展名常用扩展名 .pkl .pth 扩展名只要好辨识就即可
PATH./model/mynet1.pkl
# 导入官方提供的预训练模型
net1torchvision.models.alexnet(pretrainendTrue)
# 用数据集训练网络
.....
# 保存训练好的网络
torch.save(net1, PATH)
-----------------------------------------------------------
# 载入模型设置载入路径即模型保存的路径
PATH./model/mynet1.pkl
net1_1torch.load(PATH)2. 仅模型参数 保存-载入
保存时–只保存网络中的参数 (速度快, 占内存少) 载入时–需要提前创建好结构和net2是一样的
# 保存模型设置 保存目录 和 保存文件名.扩展名常用扩展名 .pkl .pth 扩展名只要好辨识就即可
PATH./model/mynet2.pkl
# 导入官方提供的预训练模型
net2torchvision.models.alexnet(pretrainendTrue)
# 用数据集训练网络
.....
# 保存训练好的网络
torch.save(net1.state_dict(), PATH)
-----------------------------------------------------------
# 载入模型设置载入路径即模型保存的路径
PATH./model/net2.pkl
# 新建一个网络
net2_2torchvision.models.alexnet(pretrainedTrue)
# 载入模型参数
net2_2.load_state_dict(torch.load(PATH))迷糊的现象
在使用莫烦的文档做实验时保存的两个文件net.pklnet_params.pkl大小差异比较大。保证在导入模型是比较快。 但是使用torchvision.models.模块中的一系列网络时因为网络的参数很大所以实验过程中用两种方法保存模型的文件大小是一致的。猜测是内置模型使用torch.save(net1, ‘net.pkl’)时默认保存的是模型参数
提供一个神经网络模型占用空间大小的计算方法 参考文档经典CNN模型计算量与内存需求分析
3. GPU/CPU模型保存与导入
在训练是模型是GPU/CPU决定了模型载入时的模型原型。可以分为下面三种情况 (只展示导入整个网络模型的情况,具体实验还没做过)
1.CPU(原型)-CPU, GPU(原型)-GPU torch.load( ‘net.pkl’) 2.GPU(原型)-CPU torch.load(‘model_dict.pkl’, map_locationlambda storage, loc: storage) 3.CPU(模型文件)-GPU torch.load(‘model_dic.pkl’, map_locationlambda storage, loc: storage.cuda) 参考文档https://blog.csdn.net/u012135425/article/details/85217542
4. net.eval()–固定模型随机项
两种模型载入方式、.eval() 作用实验demo
step1: 载入模型
# 20191204 pytorch 模型载入测试
import torchvision as tvt
import torch
net1tvt.models.alexnet(pretrainedTrue) # 1.自动从网上下载的预先训练模型
net2torch.load(./model/mynet1.pkl) # 2.导入事先训练好的保存的整个网络net3tvt.models.alexnet(pretrainedTrue) # 3.导入只保存模型参数的网络,需要新建一个网络
net3.load_state_dict(torch.load(../model/mynet2.pkl))
net3.eval # 固定dropout和归一化层否则每次推理会生成不同的结果。step2输出三个网络同一层参数的和net2 和net3 对应参数相等。可以看出来两种模型保存和导入方式是等价的。
net1 tensor(-21257.7656, grad_fnSumBackward0)
net2 tensor(-21253.9473, devicecuda:0, grad_fnSumBackward0)
net3 tensor(-21253.9551, grad_fnSumBackward0)step3: 产生一个随机输入a,输入到网络1,2,3打印输出结果。
atorch.randn([1,3,224,224])
y1net1(a)
y2net2(a)
y3net3(a)
# 第二次输入
y11net1(a)
y22net2(a)
y33net3(a)
# 打印y1,y2,y3,y11,y22,y331000维的和
y1: tensor(-5.2689, grad_fnSumBackward0)
y2: tensor(-1.6695, devicecuda:0, grad_fnSumBackward0)
y3: tensor(-4.4349, devicecuda:0, grad_fnSumBackward0)y11: tensor(-4.4205, grad_fnSumBackward0)
y22: tensor(-5.9475, devicecuda:0, grad_fnSumBackward0)
y33: tensor(-4.4349, devicecuda:0, grad_fnSumBackward0)只有net3的输出是固定的因为在模型导入的时候执行了net3.eval(). 结论无论采用 方式1 还是 方式2 导入的模型 在模型测试时都需要用.eval()方法固定一下网络在训练过程中的随机项目如dropout 等避免网络在同一个输入下产生不一样的结果。
