丹东网站建设,北京网站建设主页,宁波网站建设设计公司信息,网架公司厂家一、迁移学习#xff08;Transfer learning)
用来自不同任务的数据来帮助我解决当前任务。
场景#xff1a;比如现在我想要识别从0到9度手写数字#xff0c;但是我没有那么多手写数字的带标签数据。我可以找到一个很大的数据集#xff0c;比如有一百万张图片的猫、狗、汽…一、迁移学习Transfer learning)
用来自不同任务的数据来帮助我解决当前任务。
场景比如现在我想要识别从0到9度手写数字但是我没有那么多手写数字的带标签数据。我可以找到一个很大的数据集比如有一百万张图片的猫、狗、汽车和人等1000个类那我就可以在这个大型数据集上用这一百万张图片作为输入训练一个模型来学会识别这1000个不同的类别。 比如我训练出来后长这样
这里有w,b参数
那接下来我就可以把前面的输入层和隐藏层全部照原来的不动把输出层更改为10个神经元即 10个神经元分别对应0-9的10个数字。
但注意这里的w5和b5需要改变因为神经元改变了所以要用前四层的参数进行训练得出新的w5和b5。
也就是说迁移学习后有两种选择 选项1适合数据集较小的情况。
选项卡2适合数据集较大的情况。
这种算法就叫迁移学习就是把通过另一个训练好的训练模型参数迁移到现有的模型中来这样对新神经网络的参数很有帮助因为只需要再让算法学习一下就能达到很好的效果了。
在大型数据集上训练然后在较小的数据集上进一步调参也叫微调fine tuning)这两个步骤叫监督预训练supervised pretraining)
而迁移学习的一个好处是我可能不需要进行监督预训练。
对应很多神经网络来说已经有研究人员在大数据集上训练了一个效果很好的神经网络并发在了网上那比起从头开始我们可以下载别人训练好的神经网络把自己的输出层替换原有的输出层并用自己的数据集做一点微调即可得到一个表现良好的神经网络。
但是要注意对应预训练和调参这两步使用的图像必须是同个输入尺寸的并且选择的别人的模型也要是图像识别的。也就是说如果你要做音频识别那你要找的神经网络也是在音频数据上预训练过的神经网络。
二、机器学习项目的整个周期
第一步确定项目的范围
确定这项目是什么什么是你想做的
第二步收集数据
确定需要哪些数据来训练你的机器学习系统然后去收集
第三步训练模型
进行误差分析进行迭代发展看训练效果是否不好 不好的话找原因比如回去收集更多的数据这样。
第四步部署系统
应用到现实中并且要跟进模型的性能如果模型性能出现问题要及时维护。
PS: 注意误差最小的模型不一定代表模型准确率最高。
原因比如当你的模型在预测一个人是否有罕见病的时候罕见病发病率0.5%)而你的蠢模型只会一直在输出该人无罕见病那模型准确率就是99.5%但是如果你自己训练的模型准确率是99.2%但是它不会像傻子一样一直在输出该人无罕见病可能更有用这个时候你怎么判断哪个模型更好呢这种情况叫数据集倾斜问题
解决方式是使用精确率Precison)和召回率(Recall)作为错误的度量。
三、精确率和召唤率
要理解这两个概念首先要知道什么是true positive, false positive, false negative和true negative。
举个例子
这是个混淆矩阵现在我们在预测一个罕见病横轴代表实际的类竖轴代表预测出来的类。
如果预测的结果和实际结果一样这个就叫true不一样就叫false
那positive和negative就是1和0的区别表示是否有疾病。 所以精确率
true positive的值除以被归为positive的样本的值也就是在所有你预测的阳性样本中真正是真样本的比率 召回率
true positive的值除actual positived的值也就是true positive的值加上false negative的值
这两个值能够帮我们判断是不是模型一直在输出0也就是我们上面提及的情况
因为如果一直都在输出0那精确率和召回率就都是0.
所以如果训练的模型是罕见病的时候一定需要注意这两个数字够不够高如果都比较高就能说明我们的学习算法是有效的。
总结
高精度已知算法诊断来访者有这种疾病后面发现大多数来访者确实都有这种疾病那就说是高精度。预测为正的样本中有多少是真的预测正确了找得对
高召回已知来访者有这种疾病后面发现算法能在很大程度上诊断出他们患有这种疾病这就是找的全。
那如何权衡精度和召回率呢
四、精度和召回率的权衡
通常我们会将逻辑回归的输出阈值设置为0.5但假如我们只有在觉得非常确信的情况下才预测y 1的话我们可以选择把阈值设置更高比如0.7也就是说此时要预测y 1至少要有70%的把握了这样就能提高预测的精度了。注意阈值的设置要同步也就是说此时预测y1和y0的阈值都是0.7。
但是这样的话精度提高了就会导致更低的召回率因为预测的次数变少了。所以在所有的患者中我们能正确诊断出患病的人会更少。
同理那降低阈值就是提高预测的召回率也就是说允许找出更多的病例。
那权衡这两个值的话就要把不同阈值对于的精确率和召回率的图画出来 而且注意不能用交叉验证法选出阈值因为是由你来选择最佳的点。
所以对于大多数算法程序而言最终要做的是手动选择一个阈值来权衡精度和召回率。
但是如果你想要自动权衡精度和召回率而不是自己来手动选择阈值的话还可以使用
F1评分F1 Score)它可以自动结合精度和召回率帮你选择最佳权衡值。 这个计算结果也叫调和平均数harmonious means)
也就是说可以通过这个公式来对召回率和精度进行计算得出F1评分选出最佳的权衡组合。得分越高哪种算法就越好。
