网站禁止右键,四川成都广告公司,网站推广营销步骤,扬州工程信息网机器学习算法中#xff0c;超参数是一个非常重要的问题#xff1b; 超参数#xff0c;即#xff1a;模型开始训练之前#xff0c;设置好的参数
根据模型评估值#xff0c;对超参数进行优化#xff0c;选择最佳超参数值#xff0c;以提高学习的性能和效果 对于…机器学习算法中超参数是一个非常重要的问题 超参数即模型开始训练之前设置好的参数
根据模型评估值对超参数进行优化选择最佳超参数值以提高学习的性能和效果 对于超参数值的设置我们有两种方式1. 人工试数2. 交叉验证目录 一. 交叉验证1. Holdout交叉验证1.1 Holdout交叉验证流程1.2 Holdout交叉验证特点 2. K折交叉验证2.1 K折交叉验证流程2.2 K折交叉验证特点 3. 留一验证3.1 留一验证流程3.2 留一验证特点 一. 交叉验证
1. Holdout交叉验证
1.1 Holdout交叉验证流程 1. 将数据集划分为训练集、验证集、测试集2. 将所有可能的超参数放在训练集上做训练得到多个模型3. 用验证集对得到的所有模型做评估找出性能最佳的模型也就相当于找到最优的超参数值4. 用得到的超参数在 【训练集验证集】 上做模型训练得到一个新的模型5. 用测试集对新模型做评估6. 用已确定的超参数在所有数据上重新训练得到最终模型即验证集的作用为确定超参数 测试集的作用为评估模型性能
1.2 Holdout交叉验证特点
处理简单适用于样本较多的情况
2. K折交叉验证
K折交叉验证(K-fold cross-validation)其中K为超参数常用K10
2.1 K折交叉验证流程 1. 将待测的超参数据集等分为K份其中1份为验证数据其余K-1份为训练数据2. 对该数据集重复K次训练验证3. 对K个结果进行平均或其他操作以获得综合结果最终得到该超参数集的性能指标2.2 K折交叉验证特点
训练集与测试集不重合测试结果是绝对有效的常用10折交叉验证
3. 留一验证
留一验证(LOOCV)与K折相似但此时K的值等于样本的数量
3.1 留一验证流程 1. 对于K个样本的超参数集每次训练使用K-1个样本剩下的1个为验证数据2. 对所有数据进行K次训练验证3. 对K个结果进行平均或其他操作以获得综合结果最终得到该超参数集的性能指标3.2 留一验证特点
常用于样本量非常小的情况 本篇文章仅涵盖了目前已讨论过的知识点未来将持续更新
PS本文相关代码存放位置 波士顿房价预测 交叉验证代码实现寻找最优超参数
感谢阅读~
