充值中心网站怎么做,2017做那些网站致富,上海网站建设定,添加友情链接的技巧知识点回顾#xff1a; 预训练的概念常见的分类预训练模型图像预训练模型的发展史预训练的策略预训练代码实战#xff1a;resnet18 一、预训练的概念 我们之前在训练中发现#xff0c;准确率最开始随着epoch的增加而增加。随着循环的更新#xff0c;参数在不断发生更新。 所… 知识点回顾 预训练的概念常见的分类预训练模型图像预训练模型的发展史预训练的策略预训练代码实战resnet18 一、预训练的概念 我们之前在训练中发现准确率最开始随着epoch的增加而增加。随着循环的更新参数在不断发生更新。 所以参数的初始值对训练结果有很大的影响 如果最开始的初始值比较好后续训练轮数就会少很多很有可能陷入局部最优值不同的初始值可能导致陷入不同的局部最优值 所以很自然的想到如果最开始能有比较好的参数即可能导致未来训练次数少也可能导致未来训练避免陷入局部最优解的问题。这就引入了一个概念即预训练模型。 如果别人在某些和我们目标数据类似的大规模数据集上做过训练我们可以用他的训练参数来初始化我们的模型这样我们的模型就比较容易收敛。 为了帮助你们理解这里提出几个自问自答的问题。 那为什么要选择类似任务的数据集预训练的模型参数呢 因为任务差不多他提取特征的能力才有用如果任务相差太大他的特征提取能力就没那么好。 所以本质预训练就是拿别人已经具备的通用特征提取能力来接着强化能力使之更加适应我们的数据集和任务。 为什么要求预训练模型是在大规模数据集上训练的小规模不行么 因为提取的是通用特征所以如果数据集数据少、尺寸小就很难支撑复杂任务学习通用的数据特征。比如你是一个物理的博士让你去做小学数学题很快就能上手但是你是一个小学数学速算高手让你做物理博士的课题就很困难。所以预训练模型一般就挺强的。 我们把用预训练模型的参数然后接着在自己数据集上训练来调整该参数的过程叫做微调这种思想叫做迁移学习。把预训练的过程叫做上游任务把微调的过程叫做下游任务。 现在再来看下之前一直用的cifar10数据集他是不是就很明显不适合作为预训练数据集 规模过小仅 10 万张图像且尺寸小32x32无法支撑复杂模型学习通用视觉特征类别单一仅 10 类飞机、汽车等泛化能力有限 这里给大家介绍一个常常用来做预训练的数据集ImageNetImageNet 1000 个类别有 1.2 亿张图像尺寸 224x224数据集大小 1.4G下载地址http://www.image-net.org/。 二、 经典的预训练模型 2.1 CNN架构预训练模型 模型预训练数据集核心特点在CIFAR10上的适配要点AlexNetImageNet首次引入ReLU/局部响应归一化参数量6000万需修改首层卷积核大小原11x11→适配32x32VGG16ImageNet纯卷积堆叠结构统一参数量1.38亿冻结前10层卷积仅微调全连接层ResNet18ImageNet残差连接解决梯度消失参数量1100万直接适配32x32输入需调整池化层步长MobileNetV2ImageNet深度可分离卷积参数量350万轻量级设计适合计算资源有限的场景 2.2 Transformer类预训练模型 适用于较大尺图像如224x224在CIFAR10上需上采样图像尺寸或调整Patch大小。 模型预训练数据集核心特点在CIFAR10上的适配要点ViT-BaseImageNet-21K纯Transformer架构参数量8600万图像Resize至224x224Patch大小设为4x4Swin TransformerImageNet-22K分层窗口注意力参数量8000万需调整窗口大小适配小图像DeiTImageNet结合CNN归纳偏置参数量2200万轻量级Transformer适合中小尺寸图像 2.3 自监督预训练模型 无需人工标注通过 pretext task如掩码图像重建学习特征适合数据稀缺场景。 模型预训练方式典型数据集在CIFAR10上的优势MoCo v3对比学习ImageNet无需标签即可迁移适合无标注数据BEiT掩码图像建模ImageNet-22K特征语义丰富微调时收敛更快 三、常见的分类预训练模型介绍 3.1 预训练模型的发展史 模型年份提出团队关键创新点层数参数量ImageNet Top-5错误率典型应用场景预训练权重可用性LeNet-51998Yann LeCun等首个CNN架构卷积层池化层全连接层Sigmoid激活函数7~60KN/A手写数字识别MNIST无历史模型AlexNet2012Alex Krizhevsky等ReLU激活函数、Dropout、数据增强、GPU训练860M15.3%大规模图像分类PyTorch/TensorFlow官方支持VGGNet2014Oxford VGG团队统一3×3卷积核、多尺度特征提取、结构简洁16/19138M/144M7.3%/7.0%图像分类、目标检测基础骨干网络PyTorch/TensorFlow官方支持GoogLeNet2014GoogleInception模块多分支并行卷积、1×1卷积降维、全局平均池化225M6.7%大规模图像分类PyTorch/TensorFlow官方支持ResNet2015何恺明等残差连接解决梯度消失、Batch Normalization18/50/15211M/25M/60M3.57%/3.63%/3.58%图像/视频分类、检测、分割PyTorch/TensorFlow官方支持DenseNet2017Gao Huang等密集连接每层与后续所有层相连、特征复用、参数效率高121/1698M/14M2.80%小数据集、医学图像处理PyTorch/TensorFlow官方支持MobileNet2017Google深度可分离卷积减少75%计算量、轻量级设计284.2M7.4%移动端图像分类/检测PyTorch/TensorFlow官方支持EfficientNet2019Google复合缩放同时优化深度、宽度、分辨率、NAS搜索最佳配置B0-B75.3M-66M2.6% (B7)高精度图像分类资源受限场景PyTorch/TensorFlow官方支持 上图的层数代表该模型不同的版本resnet有resnet18、resnet50、resnet152efficientnet有efficientnet-b0、efficientnet-b1、efficientnet-b2、efficientnet-b3、efficientnet-b4等 其中ImageNet Top - 5 准确率是图像分类任务里的一种评估指标 用于衡量模型在 ImageNet 数据集上的分类性能模型对图像进行分类预测输出所有类别共 1000 类 的概率取概率排名前五的类别只要这五个类别里包含人工标注的正确类别就算预测正确。 模型架构演进关键点总结 深度突破从LeNet的7层到ResNet152的152层残差连接解决了深度网络的训练难题。 ----没上过我复试班cv部分的自行去了解下什么叫做残差连接很重要计算效率GoogLeNetInception和MobileNet通过结构优化在保持精度的同时大幅降低参数量。特征复用DenseNet的密集连接设计使模型能更好地利用浅层特征适合小数据集。自动化设计EfficientNet使用神经架构搜索NAS自动寻找最优网络配置开创了AutoML在CNN中的应用。 预训练模型使用建议 任务需求推荐模型理由快速原型开发ResNet50/18结构平衡预训练权重稳定社区支持完善移动端部署MobileNetV3参数量小计算高效专为移动设备优化高精度分类资源充足EfficientNet-B7目前ImageNet准确率领先适合GPU/TPU环境小数据集或特征复用需求DenseNet密集连接设计减少过拟合特征复用能力强多尺度特征提取Inception-ResNet结合Inception多分支和ResNet残差连接适合复杂场景 这些模型的预训练权重均可通过主流框架如PyTorch的torchvision.models、Keras的applications模块直接加载便于快速迁移到新任务。 总结CNN 架构发展脉络 早期探索1990s-2010sLeNet 验证 CNN 可行性但受限于计算和数据。深度学习复兴2012-2015AlexNet、VGGNet、GoogLeNet 通过加深网络和结构创新突破性能。超深网络时代2015 年后ResNet 解决退化问题开启残差连接范式后续模型围绕效率MobileNet、特征复用DenseNet、多分支结构Inception等方向优化。 3.1 预训练模型的训练策略 那么什么模型会被选为预训练模型呢比如一些调参后表现很好的cnn神经网络固定的神经元个数固定的层数等。 所以调用预训练模型做微调本质就是 用这些固定的结构之前训练好的参数 接着训练 所以需要找到预训练的模型结构并且加载模型参数 相较于之前用自己定义的模型有以下几个注意点 需要调用预训练模型和加载权重需要resize 图片让其可以适配模型需要修改最后的全连接层以适应数据集 其中训练过程中为了不破坏最开始的特征提取器的参数最开始往往先冻结住特征提取器的参数然后训练全连接层大约在5-10个epoch后解冻训练。 主要做特征提取的部分叫做backbone骨干网络负责融合提取的特征的部分叫做Featue Pyramid NetworkFPN负责输出的预测部分的叫做Head。 首先复用下之前的代码 import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
import matplotlib.pyplot as plt# 设置中文字体支持
plt.rcParams[font.family] [SimHei]
plt.rcParams[axes.unicode_minus] False # 解决负号显示问题# 检查GPU是否可用
device torch.device(cuda if torch.cuda.is_available() else cpu)
print(f使用设备: {device})# 1. 数据预处理训练集增强测试集标准化
train_transform transforms.Compose([transforms.RandomCrop(32, padding4),transforms.RandomHorizontalFlip(),transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.1),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])test_transform transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])# 2. 加载CIFAR-10数据集
train_dataset datasets.CIFAR10(root./data,trainTrue,downloadTrue,transformtrain_transform
)test_dataset datasets.CIFAR10(root./data,trainFalse,transformtest_transform
)# 3. 创建数据加载器可调整batch_size
batch_size 64
train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse)# 4. 训练函数支持学习率调度器
def train(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs):model.train() # 设置为训练模式train_loss_history []test_loss_history []train_acc_history []test_acc_history []all_iter_losses []iter_indices []for epoch in range(epochs):running_loss 0.0correct_train 0total_train 0for batch_idx, (data, target) in enumerate(train_loader):data, target data.to(device), target.to(device)optimizer.zero_grad()output model(data)loss criterion(output, target)loss.backward()optimizer.step()# 记录Iteration损失iter_loss loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch * len(train_loader) batch_idx 1)# 统计训练指标running_loss iter_loss_, predicted output.max(1)total_train target.size(0)correct_train predicted.eq(target).sum().item()# 每100批次打印进度if (batch_idx 1) % 100 0:print(fEpoch {epoch1}/{epochs} | Batch {batch_idx1}/{len(train_loader)} f| 单Batch损失: {iter_loss:.4f})# 计算 epoch 级指标epoch_train_loss running_loss / len(train_loader)epoch_train_acc 100. * correct_train / total_train# 测试阶段model.eval()correct_test 0total_test 0test_loss 0.0with torch.no_grad():for data, target in test_loader:data, target data.to(device), target.to(device)output model(data)test_loss criterion(output, target).item()_, predicted output.max(1)total_test target.size(0)correct_test predicted.eq(target).sum().item()epoch_test_loss test_loss / len(test_loader)epoch_test_acc 100. * correct_test / total_test# 记录历史数据train_loss_history.append(epoch_train_loss)test_loss_history.append(epoch_test_loss)train_acc_history.append(epoch_train_acc)test_acc_history.append(epoch_test_acc)# 更新学习率调度器if scheduler is not None:scheduler.step(epoch_test_loss)# 打印 epoch 结果print(fEpoch {epoch1} 完成 | 训练损失: {epoch_train_loss:.4f} f| 训练准确率: {epoch_train_acc:.2f}% | 测试准确率: {epoch_test_acc:.2f}%)# 绘制损失和准确率曲线plot_iter_losses(all_iter_losses, iter_indices)plot_epoch_metrics(train_acc_history, test_acc_history, train_loss_history, test_loss_history)return epoch_test_acc # 返回最终测试准确率# 5. 绘制Iteration损失曲线
def plot_iter_losses(losses, indices):plt.figure(figsize(10, 4))plt.plot(indices, losses, b-, alpha0.7)plt.xlabel(IterationBatch序号)plt.ylabel(损失值)plt.title(训练过程中的Iteration损失变化)plt.grid(True)plt.show()# 6. 绘制Epoch级指标曲线
def plot_epoch_metrics(train_acc, test_acc, train_loss, test_loss):epochs range(1, len(train_acc) 1)plt.figure(figsize(12, 5))# 准确率曲线plt.subplot(1, 2, 1)plt.plot(epochs, train_acc, b-, label训练准确率)plt.plot(epochs, test_acc, r-, label测试准确率)plt.xlabel(Epoch)plt.ylabel(准确率 (%))plt.title(准确率随Epoch变化)plt.legend()plt.grid(True)# 损失曲线plt.subplot(1, 2, 2)plt.plot(epochs, train_loss, b-, label训练损失)plt.plot(epochs, test_loss, r-, label测试损失)plt.xlabel(Epoch)plt.ylabel(损失值)plt.title(损失值随Epoch变化)plt.legend()plt.grid(True)plt.tight_layout()plt.show()# 导入ResNet模型
from torchvision.models import resnet18# 定义ResNet18模型支持预训练权重加载
def create_resnet18(pretrainedTrue, num_classes10):# 加载预训练模型ImageNet权重model resnet18(pretrainedpretrained)# 修改最后一层全连接层适配CIFAR-10的10分类任务in_features model.fc.in_featuresmodel.fc nn.Linear(in_features, num_classes)# 将模型转移到指定设备CPU/GPUmodel model.to(device)return model # 创建ResNet18模型加载ImageNet预训练权重不进行微调
model create_resnet18(pretrainedTrue, num_classes10)
model.eval() # 设置为推理模式# 测试单张图片示例
from torchvision import utils# 从测试数据集中获取一张图片
dataiter iter(test_loader)
images, labels dataiter.next()
images images[:1].to(device) # 取第1张图片# 前向传播
with torch.no_grad():outputs model(images)_, predicted torch.max(outputs.data, 1)# 显示图片和预测结果
plt.imshow(utils.make_grid(images.cpu(), normalizeTrue).permute(1, 2, 0))
plt.title(f预测类别: {predicted.item()})
plt.axis(off)
plt.show() 在 CIFAR-10 数据集 中类别标签是固定的 10 个分别对应 标签数字类别名称说明0airplane飞机1automobile汽车含轿车、卡车等2bird鸟类3cat猫4deer鹿5dog狗6frog青蛙7horse马8ship船9truck卡车重型货车等 import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms, models
from torch.utils.data import DataLoader
import matplotlib.pyplot as plt
import os# 设置中文字体支持
plt.rcParams[font.family] [SimHei]
plt.rcParams[axes.unicode_minus] False # 解决负号显示问题# 检查GPU是否可用
device torch.device(cuda if torch.cuda.is_available() else cpu)
print(f使用设备: {device})# 1. 数据预处理训练集增强测试集标准化
train_transform transforms.Compose([transforms.RandomCrop(32, padding4),transforms.RandomHorizontalFlip(),transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2, hue0.1),transforms.RandomRotation(15),transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])test_transform transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])# 2. 加载CIFAR-10数据集
train_dataset datasets.CIFAR10(root./data,trainTrue,downloadTrue,transformtrain_transform
)test_dataset datasets.CIFAR10(root./data,trainFalse,transformtest_transform
)# 3. 创建数据加载器
batch_size 64
train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse)# 4. 定义ResNet18模型
def create_resnet18(pretrainedTrue, num_classes10):model models.resnet18(pretrainedpretrained)# 修改最后一层全连接层in_features model.fc.in_featuresmodel.fc nn.Linear(in_features, num_classes)return model.to(device)# 5. 冻结/解冻模型层的函数
def freeze_model(model, freezeTrue):冻结或解冻模型的卷积层参数# 冻结/解冻除fc层外的所有参数for name, param in model.named_parameters():if fc not in name:param.requires_grad not freeze# 打印冻结状态frozen_params sum(p.numel() for p in model.parameters() if not p.requires_grad)total_params sum(p.numel() for p in model.parameters())if freeze:print(f已冻结模型卷积层参数 ({frozen_params}/{total_params} 参数))else:print(f已解冻模型所有参数 ({total_params}/{total_params} 参数可训练))return model# 6. 训练函数支持阶段式训练
def train_with_freeze_schedule(model, train_loader, test_loader, criterion, optimizer, scheduler, device, epochs, freeze_epochs5):前freeze_epochs轮冻结卷积层之后解冻所有层进行训练train_loss_history []test_loss_history []train_acc_history []test_acc_history []all_iter_losses []iter_indices []# 初始冻结卷积层if freeze_epochs 0:model freeze_model(model, freezeTrue)for epoch in range(epochs):# 解冻控制在指定轮次后解冻所有层if epoch freeze_epochs:model freeze_model(model, freezeFalse)# 解冻后调整优化器可选optimizer.param_groups[0][lr] 1e-4 # 降低学习率防止过拟合model.train() # 设置为训练模式running_loss 0.0correct_train 0total_train 0for batch_idx, (data, target) in enumerate(train_loader):data, target data.to(device), target.to(device)optimizer.zero_grad()output model(data)loss criterion(output, target)loss.backward()optimizer.step()# 记录Iteration损失iter_loss loss.item()all_iter_losses.append(iter_loss)iter_indices.append(epoch * len(train_loader) batch_idx 1)# 统计训练指标running_loss iter_loss_, predicted output.max(1)total_train target.size(0)correct_train predicted.eq(target).sum().item()# 每100批次打印进度if (batch_idx 1) % 100 0:print(fEpoch {epoch1}/{epochs} | Batch {batch_idx1}/{len(train_loader)} f| 单Batch损失: {iter_loss:.4f})# 计算 epoch 级指标epoch_train_loss running_loss / len(train_loader)epoch_train_acc 100. * correct_train / total_train# 测试阶段model.eval()correct_test 0total_test 0test_loss 0.0with torch.no_grad():for data, target in test_loader:data, target data.to(device), target.to(device)output model(data)test_loss criterion(output, target).item()_, predicted output.max(1)total_test target.size(0)correct_test predicted.eq(target).sum().item()epoch_test_loss test_loss / len(test_loader)epoch_test_acc 100. * correct_test / total_test# 记录历史数据train_loss_history.append(epoch_train_loss)test_loss_history.append(epoch_test_loss)train_acc_history.append(epoch_train_acc)test_acc_history.append(epoch_test_acc)# 更新学习率调度器if scheduler is not None:scheduler.step(epoch_test_loss)# 打印 epoch 结果print(fEpoch {epoch1} 完成 | 训练损失: {epoch_train_loss:.4f} f| 训练准确率: {epoch_train_acc:.2f}% | 测试准确率: {epoch_test_acc:.2f}%)# 绘制损失和准确率曲线plot_iter_losses(all_iter_losses, iter_indices)plot_epoch_metrics(train_acc_history, test_acc_history, train_loss_history, test_loss_history)return epoch_test_acc # 返回最终测试准确率# 7. 绘制Iteration损失曲线
def plot_iter_losses(losses, indices):plt.figure(figsize(10, 4))plt.plot(indices, losses, b-, alpha0.7)plt.xlabel(IterationBatch序号)plt.ylabel(损失值)plt.title(训练过程中的Iteration损失变化)plt.grid(True)plt.show()# 8. 绘制Epoch级指标曲线
def plot_epoch_metrics(train_acc, test_acc, train_loss, test_loss):epochs range(1, len(train_acc) 1)plt.figure(figsize(12, 5))# 准确率曲线plt.subplot(1, 2, 1)plt.plot(epochs, train_acc, b-, label训练准确率)plt.plot(epochs, test_acc, r-, label测试准确率)plt.xlabel(Epoch)plt.ylabel(准确率 (%))plt.title(准确率随Epoch变化)plt.legend()plt.grid(True)# 损失曲线plt.subplot(1, 2, 2)plt.plot(epochs, train_loss, b-, label训练损失)plt.plot(epochs, test_loss, r-, label测试损失)plt.xlabel(Epoch)plt.ylabel(损失值)plt.title(损失值随Epoch变化)plt.legend()plt.grid(True)plt.tight_layout()plt.show()# 主函数训练模型
def main():# 参数设置epochs 40 # 总训练轮次freeze_epochs 5 # 冻结卷积层的轮次learning_rate 1e-3 # 初始学习率weight_decay 1e-4 # 权重衰减# 创建ResNet18模型加载预训练权重model create_resnet18(pretrainedTrue, num_classes10)# 定义优化器和损失函数optimizer optim.Adam(model.parameters(), lrlearning_rate, weight_decayweight_decay)criterion nn.CrossEntropyLoss()# 定义学习率调度器scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemin, factor0.5, patience2, verboseTrue)# 开始训练前5轮冻结卷积层之后解冻final_accuracy train_with_freeze_schedule(modelmodel,train_loadertrain_loader,test_loadertest_loader,criterioncriterion,optimizeroptimizer,schedulerscheduler,devicedevice,epochsepochs,freeze_epochsfreeze_epochs)print(f训练完成最终测试准确率: {final_accuracy:.2f}%)# # 保存模型# torch.save(model.state_dict(), resnet18_cifar10_finetuned.pth)# print(模型已保存至: resnet18_cifar10_finetuned.pth)if __name__ __main__:main() 使用设备: cuda
Files already downloaded and verified
已冻结模型卷积层参数 (11176512/11181642 参数)
Epoch 1/40 | Batch 100/782 | 单Batch损失: 2.2746
Epoch 1/40 | Batch 200/782 | 单Batch损失: 2.0283
Epoch 1/40 | Batch 300/782 | 单Batch损失: 1.7735
Epoch 1/40 | Batch 400/782 | 单Batch损失: 1.9917
Epoch 1/40 | Batch 500/782 | 单Batch损失: 1.6662
Epoch 1/40 | Batch 600/782 | 单Batch损失: 1.8309
Epoch 1/40 | Batch 700/782 | 单Batch损失: 1.7485
Epoch 1 完成 | 训练损失: 1.9633 | 训练准确率: 29.96% | 测试准确率: 32.28%
Epoch 2/40 | Batch 100/782 | 单Batch损失: 1.9622
Epoch 2/40 | Batch 200/782 | 单Batch损失: 1.9096
Epoch 2/40 | Batch 300/782 | 单Batch损失: 1.9117
Epoch 2/40 | Batch 400/782 | 单Batch损失: 1.6654
Epoch 2/40 | Batch 500/782 | 单Batch损失: 1.8214
Epoch 2/40 | Batch 600/782 | 单Batch损失: 2.0345
Epoch 2/40 | Batch 700/782 | 单Batch损失: 2.1190
Epoch 2 完成 | 训练损失: 1.8675 | 训练准确率: 33.81% | 测试准确率: 32.79%
Epoch 3/40 | Batch 100/782 | 单Batch损失: 1.7294
Epoch 3/40 | Batch 200/782 | 单Batch损失: 1.8884
Epoch 3/40 | Batch 300/782 | 单Batch损失: 2.0095
Epoch 3/40 | Batch 400/782 | 单Batch损失: 1.7234
Epoch 3/40 | Batch 500/782 | 单Batch损失: 1.8481
Epoch 3/40 | Batch 600/782 | 单Batch损失: 1.8441
...
Epoch 40/40 | Batch 500/782 | 单Batch损失: 0.3312
Epoch 40/40 | Batch 600/782 | 单Batch损失: 0.4169
Epoch 40/40 | Batch 700/782 | 单Batch损失: 0.1733
Epoch 40 完成 | 训练损失: 0.2713 | 训练准确率: 90.29% | 测试准确率: 86.30%训练完成最终测试准确率: 86.30% 几个明显的现象 1. 解冻后几个epoch即可达到之前cnn训练20轮的效果这是预训练的优势 2. 由于训练集用了 RandomCrop随机裁剪、RandomHorizontalFlip随机水平翻转、ColorJitter颜色抖动等数据增强操作这会让训练时模型看到的图片有更多 “干扰” 或变形。比如一张汽车图片训练时可能被裁剪成只显示局部、颜色也有变化模型学习难度更高而测试集是标准的、没增强的图片模型预测相对轻松就可能出现训练集准确率暂时低于测试集的情况尤其在训练前期增强对模型影响更明显。随着训练推进模型适应增强后会缓解。 3. 最后收敛后的效果超过非预训练模型的80%,大幅提升 浙大疏锦行
