最好机票网站建设,个人设计师网站,提升排名,上海做网站公司品划网络当冻结卷积层和训练模型时#xff0c;全连接层或dense层(vgg.classifier)的输入始终是相同的。为了更好地理解#xff0c;让我们将卷积块(在示例中为vgg.features块)视为具有了已学习好的权重且在训练期间不会更改的函数。因此#xff0c;计算卷积特征并保存下来将有助于我们… 当冻结卷积层和训练模型时全连接层或dense层(vgg.classifier)的输入始终是相同的。为了更好地理解让我们将卷积块(在示例中为vgg.features块)视为具有了已学习好的权重且在训练期间不会更改的函数。因此计算卷积特征并保存下来将有助于我们提高训练速度。训练模型的时间减少了因为我们只计算一次这些特征而不是每轮都计算。让我们在结合图5.21理解并实现同样的功能。 第一个框描述了一般情况下如何进行训练这可能很慢因为尽管值不会改变但仍为每轮计算卷积特征。在底部的框中一次性计算卷积特征并仅训练线性层。为了计算预卷积特征我们将所有训练数据传给卷积块并保存它们。为了实现这一点需要选择 VGG 模型的卷积块。幸运的是VGG16的PyTorch实现包含了两个序列模型所以只选择第一个序列模型的特征就可以了。以下代码执行此操作
vgg models.vggl6(pretrainedTrue)
vgg vgg.cuda()
features vgg.features
train_data_loader torch.utils.data.Dataloader(train,batch_size32,num_workers3,shuffleFalse)
valid_data_loader
torch.utils,data.Dataloader(valid,batch_size32,num_workers3,shuffleFalse)
def preconvfeat(dataset,model):conv_features []labels_list []for data in dataset:inputs,labels dataif is_cuda:inputs,labels inputs.cuda(),labels.cuda()inputs,labels Variable(inputs),Variable(labels)output model(inputs)conv_features.extend(output.data.cpu().numpy())labels_list.extend(labels.data.cpu().numpy())conv_features np.concatenate([[feat] for feat in conv_features])return (conv_features,labels_list)
conv_feat_train,labels_train preconvfeat(train_data_loader, features)
conv_feat_val,labels_val preconvfeat (valid_data_loader, features) 在上面的代码中preconvfeat 方法接受数据集和 vgg 模型并返回卷积特征以及与之关联的标签。代码的其余部分类似于在其他示例中用于创建数据加载器和数据集的代码。 获得了 train 和 validation 集的卷积特征后让我们创建 PyTorch 的 Dataset 和 DataLoader 类这将简化训练过程。以下代码为卷积特征创建了 Dataset 和 DataLoader 类
class My dataset(Dataset):def _init_(self,feat,labels):self.conv_feat featself.labels labelsdef _len_(self):return len(self.conv_feat)def _getitem_(self,idx):return self.conv_feat[idx],self.labels[idx]train_feat_dataset My_dataset(conv_feat_train,labels_train)
val_feat_dataset My_dataset(conv_feat_val,labels_val)
train_feat_loader
DataLoader(train_feat_dataset,batch_size64,shuffleTrue)
val_feat_loader
DataLoader(val_feat_dataset,batch_size64,shuffleTrue) 由于有新的数据加载器可以生成批量的卷积特征以及标签因此可以使用与另一个例子相同的训练函数。现在将使用 vgg.classifier 作为创建 optimizer 和 fit 方法的模型。下面的代码训练分类器模块来识别狗和猫。在Titan X GPU上每轮训练只需不到5秒钟在其他CPU上可能需要几分钟
train_losses, train_accuracy [],[]
val_losses, val_accuracy [],[]
for epoch in range(1,20):epoch_loss, epoch_accuracy fit_numpy(epoch,vgg.classifier,train_feat_loader,phasetraining)val_epoch_loss,val_epoch_accuracy fit_numpy(epoch,vgg.classifier,val_feat_loader,phasevalidation)train_losses.append(epoch_loss)train_accuracy.append(epoch_accuracy)val_losses.append(val_epoch_loss)val_accuracy.append(val_epoch_accuracy)
