网站怎么做权重,北京网站开开发公司,wordpress nexus主题,英国男女做那个视频网站概念
过拟合:根本原因是特征维度过多#xff0c;模型假设过于复杂#xff0c;参数过多#xff0c;训练数据过少#xff0c;噪声过多#xff0c;导致拟合的函数完美的预测训练集#xff0c;但对新数据的测试集预测结果差。 过度的拟合了训练数据#xff0c;而没有考虑到…概念
过拟合:根本原因是特征维度过多模型假设过于复杂参数过多训练数据过少噪声过多导致拟合的函数完美的预测训练集但对新数据的测试集预测结果差。 过度的拟合了训练数据而没有考虑到泛化能力。
代码
model.py
import torch.nn as nn
import torchclass AlexNet(nn.Module):def __init__(self, num_classes1000, init_weightsFalse):super(AlexNet, self).__init__()self.features nn.Sequential(nn.Conv2d(3, 48, kernel_size11, stride4, padding2), # input[3, 224, 224] output[48, 55, 55]nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size3, stride2), # output[48, 27, 27]nn.Conv2d(48, 128, kernel_size5, padding2), # output[128, 27, 27]nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size3, stride2), # output[128, 13, 13]nn.Conv2d(128, 192, kernel_size3, padding1), # output[192, 13, 13]nn.ReLU(inplaceTrue),nn.Conv2d(192, 192, kernel_size3, padding1), # output[192, 13, 13]nn.ReLU(inplaceTrue),nn.Conv2d(192, 128, kernel_size3, padding1), # output[128, 13, 13]nn.ReLU(inplaceTrue),nn.MaxPool2d(kernel_size3, stride2), # output[128, 6, 6])self.classifier nn.Sequential(nn.Dropout(p0.5),nn.Linear(128 * 6 * 6, 2048),nn.ReLU(inplaceTrue),nn.Dropout(p0.5),nn.Linear(2048, 2048),nn.ReLU(inplaceTrue),nn.Linear(2048, num_classes),)if init_weights:self._initialize_weights()def forward(self, x):x self.features(x)x torch.flatten(x, start_dim1)x self.classifier(x)return xdef _initialize_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu)if m.bias is not None:nn.init.constant_(m.bias, 0)elif isinstance(m, nn.Linear):nn.init.normal_(m.weight, 0, 0.01)nn.init.constant_(m.bias, 0)padding: 只能传入两种形式的变量int整形tuple类型。 比如int整形传入1就会在图像的左上右下分别添上一层0。 比如tuple(1,2):1代表上下方各补一行零2代表左右两侧各补两列零。 或者 nn.ReLU(inplaceTrue):inplaceTrue增加计算量减少内存使用 Dropout失活。Dropout 是为了让全连接层部分失活所以需要dropout的全连接层前配置Dropout() 激活每一层都要激活。激活属于非线性操作如果不激活每层就是纯线性变换连续的多层和只有一层是等效的没有任何区别。 train.py
transform
data_transform {train: transforms.Compose([transforms.RandomResizedCrop(224), # 随机裁剪成224×224的大小transforms.RandomHorizontalFlip(), # 在水平方向随机水平翻转transforms.ToTensor(), # 标准化处理transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]),val: transforms.Compose([transforms.Resize((224, 224)), # cannot 224, must (224, 224)transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])} json类别文件
用flower_list来保存类别索引在这个数据集下图片所在的文件夹名称即为他们的索引。
然后通过dict方法联合类别和序号值
再写入json文件。 # {daisy:0, dandelion:1, roses:2, sunflower:3, tulips:4}flower_list train_dataset.class_to_idx cla_dict dict((val, key) for key, val in flower_list.items())# write dict into json filejson_str json.dumps(cla_dict, indent4)with open(class_indices.json, w) as json_file:json_file.write(json_str)
损失函数 loss_function nn.CrossEntropyLoss() nn.CrossEntropyLoss():针对多类别的损失函数 优化器 optimizer optim.Adam(net.parameters(), lr0.0002) 优化器是Adam优化器优化对象是网络中所有的可训练的参数学习率设置的为0.0002 net.train()
使用Dropout的方式再网络正向传播过程中随机失活一部分神经元。这是再训练过程中需要的所以会调用net.train(),再测试过程中不需要随机失活所以会调用net.eval()关闭dropout()方法.
