查看注册过的网站,在线网站软件免费下载,品牌女装有哪些牌子,山西品牌设计公司本节课可视为机器学习系列课程的一个前期攻略#xff0c;这节课主要对Machine Learning 的框架进行了简单的介绍#xff1b;并以training data上的loss大小为切入点#xff0c;介绍了几种常见的在模型训练的过程中容易出现的情况。
课程视频#xff1a; Youtube#xff1…本节课可视为机器学习系列课程的一个前期攻略这节课主要对Machine Learning 的框架进行了简单的介绍并以training data上的loss大小为切入点介绍了几种常见的在模型训练的过程中容易出现的情况。
课程视频 Youtube https://www.youtube.com/watch?vWeHM2xpYQpw 课程PPT https://view.officeapps.live.com/op/view.aspx?srchttps%3A%2F%2Fspeech.ee.ntu.edu.tw%2F~hylee%2Fml%2Fml2021-course-data%2Foverfit-v6.pptxwdOriginBROWSELINK
以下是本节课的课程笔记。
一、Framework of ML 机器学习的数据集总体上分为训练集(training data)和测试集(testing data)。其中训练集由feature x和ground truth y组成模型在训练集上学习x和y之间的隐含关系再在测试集上对模型的好坏进行验证。
模型在训练集上的training大致可以分为以下三个steps Step1初步划定一个model sety f(x)其中模型 f 由系列参数 确定如果的值不同我们则说模型不同。
Step2划定好model set后就需要定义一个loss function 来对模型的好坏进行评估通常loss function反映的是模型的预测值和ground truth之间的差距差距越小(loss值越小)则模型越好。
Step3定义好loss function后就开始对模型进行优化找到让loss指最小的参数集合** 所对应的model f* 即为我们最终想要学习到的模型。
二、General Guide 在训练模型的过程中我们往往会根据training data上的loss值来初步判断模型的好坏。
1.training data上loss过大
导致training data上loss值过大的原因主要有以下两个
1model bias
即模型模型太简单大海捞针但针不在海里通常的解决措施是重新设计模型使其具有更大的弹性例如在输入中增加更多的feature或者使用deep learning以增加模型的弹性(more neurons, layers)。
2optimization
optimization做得不好没有找到最优的function大海捞针针在海里但就是没捞到。例如我们通常使用gradient decent的optimization方法但这种方法可能会卡在local minimum的地方从而导致我们没有找到全局最小解。如果是optimization做的不好我们需要使用更powerful的optimization方法这在后面的学习中会有介绍。 Q如何判断训练集上的loss大时由model bias还是optimization引起的 参考文献Deep Residual Learning for Image Recognition 主要是通过对不同的模型进行比较来判断(判断模型是否足够大)。当我们看到一个从来没有做过的问题可以先跑一些比较浅的network甚至一些不属于DL的方法因为这些方法不太会有optimization失败的问题。如果在训练集上deeper network反而没有得到更小的loss则可能是optimization出了问题。注意过拟合是deeper network在训练集上loss小在测试集上loss大 例如在下图右部分56-layer的loss值较之20-layer的反而更大则很可能是opyimization出了问题。
2.training data上loss值较小 如果在training data上的loss值比较小则可以看看模型在测试集上的表现了。如果测试值上loss值很小那这正是我们期待的结果。如果很不幸模型在测试集上loss较大此时又可大致分为两种情况
1overfitting
overfitting即模型过度地对训练数据进行了拟合把一些非common feature当做common data学习到了。此事的solution主要有 A. more training data即增加更多的训练数据 B. data augmentation如果训练数据有限则可以在原有数据的基础上通过一些特殊处理创造一些资料。 C. make your model simpler常见的举措有
less parameters/ sharing parameters (让一些model共用参数)early stoppingregularizationdropout
2mismatch
mismatch则是由于训练资料和测试资料的分布不一致导致的这个时候增加训练资料也没用。在HW11中会具体讲解这类情况。
三、如何保证选择的model是合理的
如果一个模型只是在训练集上强行将输入x和ground truth y相关联而没有学习到一些实质性的东西那么到了测试集上模型的表现将会是很差的。通常的解决措施是引入交叉验证。
1.Cross Validation
在训练时我们从测试集中划出部分数据作为validation set来衡量loss根据validation set上的得分情况去挑选最优的模型再在测试集上对模型的好坏进行验证。
2.N-fold Cross Validation
如果训练数据较少可采用N折交叉验证的方法。即将训练数据分为N等份依次以第一份、第二份……第 i 份作为验证集其余作为测试集这样重复N次对模型进行训练、验证。在将这N次训练中各个模型在验证集上的N次得分的平均进行比较选择loss最小的模型作为我们的最优模型并用它在测试集上对模型进行评分。
