免费建设一个网站,百度网盘免费下载,采购公告 校园网站建设,贵阳 网站建设#x1f4e2;#xff1a;如果你也对机器人、人工智能感兴趣#xff0c;看来我们志同道合✨ #x1f4e2;#xff1a;不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 #x1f4e2;#xff1a;文章若有幸对你有帮助#xff0c;可点赞 #x1f44d;… 如果你也对机器人、人工智能感兴趣看来我们志同道合✨ 不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 文章若有幸对你有帮助可点赞 收藏 ⭐不迷路 内容若有错误敬请留言 指正原创文转载请注明出处 文章目录 欠拟合和过拟合泛化能力与迁移学习查准率和查全率调参和超参数训练集、测试集和验证集端到端的概念卷积神经网络其他 欠拟合和过拟合 欠拟合的概念 原因是模型训练次数不够导致模型太简单一般一开始的模型就是欠拟合模型。解决办法充分训练。 过拟合的概念 模型在训练集上表现良好表现为对训练集的识别或是检测精度随着不断训练越来越高但在测试数据集上表现不好表现为离100%的精度还有很大差距。也就是只能拟合训练数据不能很好拟合其他数据。 过拟合的原因 1.模型拥有大量参数、表现力太强。 2.训练数据太少。 解决过拟合的办法 1.数据增强法图像缩放图像随机截取随机翻转图像亮度、对比度、颜色调整 2.学习率衰减一开始设置一个比较大的学习率让模型快速靠近最优解附近然后使用比较小的学习率慢慢收敛到达最优解。 3.权值衰减通过在学习过程中对大的权重进行惩罚来抑制过拟合。 4.dropout在学习过程中随机删除神经元的方法 泛化能力与迁移学习 泛化能力对未知数据有非常好的检测效果。 迁移学习transfer leaning机器像人一样能够举一反三的学习借鉴前人的经验使用很少时间完成相似任务。训练好的模型预训练模型已经具备对图片的理解能力根据实际应用修改部分网络层而不改变其提取的特征也就是在全连接层做分类的修改。卷积神经网络利用数据、模型、任务之间的相似性将训练好的内容应用到新的任务上被称为迁移学习被迁移的对象称为源域被赋予的对象称为目标域迁移学习不是具体的模型更像是解题思路简单来说就是站在巨人的肩膀上。意义目标领域的数据太少需要标注数据更多的源域的帮助节约训练时间实现个性化应用等。 模型训练的概念将数据集扔给我们需要预测的函数中来求取模型参数。对训练机器学习模型的理解从图可以理解训练集就是A和B的坐标测试集就是C的坐标而模型就是由A和B得到的函数 查准率和查全率 上采样即是反卷积Deconvolution 特征图卷积层的输入输出数据成为特征图。 查准率等于精确率。它表示预测为正的样本中多少是真正的正样本 查全率等于召回率。 TP、FN 和 FP 分别表示真阳性、假阴性和假阳性。真阳性是指预测为正实际为正假阴性是指预测为负实际为正假阳性是指预测为正实际为负。 超参数初始参数人为给定。包括卷积层中的卷积核和数量池化层中的池化方式、步长全连接层中的神经元个数等等。 神经元的数量、batch大小、参数更新时的学习率或是权值衰减。 调参和超参数 调参优化微调超参数。调参主要是调学习率调的好能慢慢到损失函数的谷底。 学习率衰减系数设置为XX 学习率随着迭代次数在逐渐下降。学习率表示学习的速度。 学习率对梯度下降的影响为了能够使得梯度下降法有较好的性能我们需要把学习率的值设定在合适的范围内。学习率决定了参数移动到最优值的速度快慢。如果学习率过大很可能会越过最优值反而如果学习率过小优化的效率可能过低长时间算法无法收敛。所以学习率对于算法性能的表现至关重要。因此学习率大小决定模型训练时长。 迭代次数指的是模型所有数据样本都进行训练的轮数模型收敛的迭代次数往往和数据量和模型的复杂程度成正相关模型越复杂、数据样本越多就需要越多的迭代次数。 batch_size批大小BATCH_SIZE self.IMAGES_PER_GPU * self.GPU_COUNT内存小的话IMAGES_PER_GPU 1因此训练设置的batch_size1。 steps_per_epoch一轮epoch包含的步数steps_per_epoch total_samples//(batch_size)。 残差模块预测值和真实值之间的差值。加入偏差残差就会使原始数据更加接近真实值。残差神经网络越深从图像中提取的特征就会越丰富。残差块使得很深的网络更加容易训练甚至可以训练一千层的网络。 残差模块组成一个主干层包括卷积层和激活函数一个支路做恒等映射。残差网络中一部分快捷连接是虚线一部分是实线。实线部分表示输入输出通道维度相同可直接进行相加因此采用计算方式为 H(x)F(x)x。虚线部分表示通道不同需要进行维度调整采用的计算方式为 H(x)F(x)Wx。由于恒等映射的存在减少网络的梯度消失加快收敛速度提高训练精度。 训练集、测试集和验证集 训练集训练模型求f(x)中的参数 测试集求各个样本对应的预测集对模型进行评估。注意测试集不能用于训练。 验证集validation通过验证集对各个模型进行评估从而选出这一个具体问题得分最高的机器学习算法和超参然后再在训练集上重新训练模型从而得到最终的模型最后用在测试上预测。 划分比例训练集、验证集、测试集的比例一般为622811721 端到端的概念 而深度学习模型在训练过程中从输入端输入数据到输出端会得到一个预测结果与真实结果相比较会得到一个误差这个误差会在模型中的每一层传递反向传播每一层的表示都会根据这个误差来做调整直到模型收敛或达到预期的效果才结束这是端到端的。 卷积神经网络 卷积层作用替代传统使用先验模型的方式进行特征提取。 输入特征图和输出特征图卷积层输入输出的数据。 卷积运算卷积层进行的处理就是卷积运算。滤波器对输入的数据按照一定间隔滑动在各个位置上滤波器的元素和输入的对应元素相乘然后再求和。有时还需要加上偏置将这个结果保存到输出的对应位置。将这个过程在所有位置上都进行一遍就得到卷积运算的输出。 滤波器又称卷积核用于卷积运算对输入数据的滤波处理。 填充的概念在卷积运算前在输入数据的周围填入固定的数据。 1X1卷积层的作用不改变特征图的大小只改变通道数。特征图进行降维减少网络参数。同理也可以对特征图进行升维。 填充的作用调整输出的大小。 步幅滤波器的位置间隔成为步幅。 偏置在输出数据前在每个元素中都加上某个固定值。 池化层的作用减少原特征图的尺寸但同时不过多丢失特征信息。减少了网络的参数量提高网络运算效率。 池化层的类型最大池化、均值池化。 池化层的特征1.没有要学习的参数2.通道数不发生变化3.对微小位置的变化具有鲁棒性。 全连接层的作用全连接层的作用主要就是实现分类 流程通过对卷积层获得的物体所有细节特征进行归纳判断是否符合某个物体借助置信度这个值进行量化评判值越高说明越接近这个物体。 激活函数的作用决定如何来激活输入信号的总和。用于信号转换。 激活函数的类型Sigmoid函数最早Relu函数。 输出层的作用根据情况改变输出层的激活函数实现分类和回归的作用 输出类型分类和回归分类一般用softmax函数回归使用恒等函数。 恒等函数会将输入按照原样输出对于输入的信息不加以任何改动直接输出。 Softmax函数公式注意事项1.指数运算可能存在数字过大导致溢出的问题解决办法分子分母均减去输出信号的最大值。2.神经网络只把输出值最大的神经元对于的类别作为识别结果不用softmax也可以判断类别。在实际的问题中由于函数运算的匀速需要一定的计算量因此输出层softmax函数一般会被忽略。 其他 残差网络设计初衷在增加网络层的同时能改变精度通过残差块加入快速通道。所谓残差指的是预测值与真实值之间的偏差。针对网络退化现象而研发该网络解决网络退化问题所谓网络退化指的是模型在验证集和测试集上误差都比浅层网络的高因此不能一味地将网络堆地很深。 Ground Truth放到机器学习里面再抽象点可以把它理解为真值、真实的有效值或者是标准的答案。 网络退化在测试集和训练集的误差都很高。在目标检测领域深度残差网络取得了优异的成绩。随着网络深度的增加在深层网络能够收敛的前提下正确率开始饱和甚至下降这称之为网络退化问题 梯度爆炸和梯度消失随着网络的加深优化效果反而越差测试数据和训练数据的准确率反而降低了 卷积层数resnet18、34、51、101其中的数字表示卷积层数。 增加卷积层数的意义网络越深从图像中提取的层次就越丰富这样各类计算机视觉任务都可以使用这个深度网络提取的底层特征或是多层次特征从中获益。 鲁棒性在机器学习训练模型时工程师可能会向算法内添加噪声如对抗训练以便测试算法的「鲁棒性」。可以将此处的鲁棒性理解述算法对数据变化的容忍度有多高。 损失函数将卷积神经网络推理的结果跟真实结果进行误差计算就是损失函数损失函数越小表明越接近真实结果。 如何降低损失函数通过修改卷积核的参数与神经元的权重使得误差最小。通过给卷积神经网络“喂”大数据它就能自己计算出最合适的卷积核权重等参数使得误差降到最低。这也就是不用人为给定参数它自己学习的过程-------机器学习。 激活函数神经网络至少需要一层隐藏层和足够的神经元利用非线性的激活函数便可以模拟任何复杂的连续函数。 激活函数的选择在实际应用中隐藏层的默认推荐激活函数通常为relu函数大于0时是线性的能很好解决梯度消失问题其整体的非线性能够在神经网络中拟合任何复杂的连续函数。但是小于0时其输出值为0这意味着神经元处于熄灭状态且在逆向参数调整过程中不产生梯度调整值。 机器学习的具体方法使用梯度下降法对损失函数求导最小值处就是损失降到最低的点波谷寻找最小值的过程就是学习过程最终找到该值说明学习模型训练成功。 反向传播就是BPback propagation算法。设计思想神经网络的优异程度是神经元之间连接的权重和神经元的阈值确定这些数字的办法大部分时间在用反向传播的方法也就是BP算法。每个神经网络的初始参数是随机赋予的根据网络输出的答案与正确答案之间的误差不断调整网络的参数。从最后一层开始逐层向前调整神经网络的参数如果误差值为负就提示权重反之降低权重调整的程度受到学习率的制约在一次次输入数据和反向调整中网络就能给出不错的输出。由于强大的调整能力BP算法控制下的神经网络很容易过拟合。BP逆向参数调整。
