特色设计网站推荐,市体育局网站 两学一做,visual制作网站开发,岳阳云溪区建设局网站文章目录 网络搜索介绍步骤参数代码实现 网络搜索
介绍
网格搜索#xff08;Grid Search#xff09;是一种超参数优化方法#xff0c;用于选择最佳的模型超参数组合。在机器学习中#xff0c;超参数是在训练模型之前设置的参数#xff0c;无法通过模型学习得到。网格搜索… 文章目录 网络搜索介绍步骤参数代码实现 网络搜索
介绍
网格搜索Grid Search是一种超参数优化方法用于选择最佳的模型超参数组合。在机器学习中超参数是在训练模型之前设置的参数无法通过模型学习得到。网格搜索通过尝试所有可能的超参数组合并使用交叉验证来评估每个组合的性能从而确定最佳的超参数组合。
步骤
网格搜索的步骤如下
定义要调整的超参数范围确定要调整的每个超参数的可能取值范围。例如学习率、正则化参数等。创建参数网格将每个超参数的可能取值组合成一个参数网格。定义评估指标选择一个评估指标来衡量每个超参数组合的性能。例如准确率、均方误差等。构建模型和交叉验证选择一个机器学习模型并定义交叉验证策略将数据集分成训练集和验证集。执行网格搜索对于每个超参数组合在交叉验证的每个训练集上训练模型并在验证集上评估模型性能。选择最佳超参数组合根据评估指标的结果选择具有最佳性能的超参数组合。用最佳超参数训练模型使用最佳超参数组合在整个训练数据集上重新训练模型。
网格搜索的优点是能够系统地尝试不同的超参数组合找到最佳的模型性能。然而由于需要尝试所有可能的组合网格搜索的计算成本较高尤其是超参数的数量较多时。因此对于大型数据集和复杂模型网格搜索可能会变得非常耗时。
为了减少计算成本可以使用随机搜索Randomized Search等其他超参数优化方法或者使用启发式方法来选择最佳超参数组合。
参数
GridSearchCV的参数包括
estimator要使用的模型或者估计器对象。param_grid一个字典或者列表包含要进行网格搜索的参数和对应的取值范围。scoring评估模型性能的指标可以是字符串使用模型的内置评估指标或者可调用对象自定义评估指标。cv交叉验证的折数或者交叉验证迭代器。n_jobs并行运行的作业数量。-1表示使用所有可用的处理器。verbose控制详细程度的整数值。0表示不输出任何信息大于1表示输出详细的信息。refit如果为True默认值则在找到最佳参数后使用最佳参数重新拟合整个数据集。return_train_score如果为True则同时返回训练集上的得分。error_score当模型在某些参数组合下发生错误时用于返回的分数。可以设置为’raise’抛出错误或者数字返回指定的分数。verbose控制详细程度的整数值。0表示不输出任何信息大于1表示输出详细的信息。
注意
在GridSearchCV中scoring参数可以选择以下评分指标
回归问题
‘explained_variance’可解释方差‘neg_mean_absolute_error’负平均绝对误差‘neg_mean_squared_error’负均方误差‘neg_mean_squared_log_error’负对数均方误差‘neg_median_absolute_error’负中位数绝对误差‘r2’R^2决定系数
二分类问题
‘accuracy’准确率‘balanced_accuracy’平衡准确率‘average_precision’平均精确率‘f1’F1得分‘precision’精确率‘recall’召回率‘roc_auc’ROC曲线下的面积 多分类问题‘accuracy’准确率‘balanced_accuracy’平衡准确率‘average_precision’平均精确率‘f1_micro’微观平均F1得分‘f1_macro’宏观平均F1得分‘precision_micro’微观平均精确率‘precision_macro’宏观平均精确率‘recall_micro’微观平均召回率‘recall_macro’宏观平均召回率‘roc_auc_ovr’基于一对多的ROC曲线下的面积
请注意不同问题类型和评估指标之间的兼容性可能会有所不同。
5折交叉验证就是把数据集分成5份然后进行5此测试如model1就是将第一折fold1的数据作为测试集其余的四份作为数据集。最后每个model都计算出来一个准确度accuracy求平均后作为此验证集的精确度。
代码实现
#调用网格搜索和决策树
from sklearn.model_selection import GridSearchCV
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report, roc_curve, auc
parameters {max_depth:[3, 5, 7, 9], min_samples_leaf: [1, 2, 3, 4]}# 选择两个超参数 树的深度max_depth和叶子的最小值min_samples_leafclf GridSearchCV(DecisionTreeClassifier(), parameters, cv3, scoringaccuracy)# 进行网格搜索得到最优参数组合
clf.fit(X_train, y_train) #通过有最优参数组合的最优模型进行训练print(最优参数, clf.best_params_)
print(验证集最高得分, clf.best_score_)
# 获取最优模型
best_model clf.best_estimator_
print(测试集上准确率, best_model.score(X_test, y_test))# 得到预测概率
y_prob_DT clf.predict_proba(X_test)[:, 1]# 得到预测标签
y_pred_DT clf.predict(X_test)# 得到分类报告
print(classification_report(y_pred y_pred_DT, y_true y_test))# 绘制ROC图
fpr, tpr, threshold roc_curve(y_score y_prob_DT, y_true y_test)
print(AUC值, auc(fpr, tpr))
plt.plot(fpr, tpr,r-)
plt.plot([0, 1], [0, 1],b-)
plt.xlable(FPR)
plt.ylable(TPR)
plt.title(ROC Curve)# 输出结果文件
result pd.DataFrame()
result[load_ID] pd.read_csv(***.csv)[**ID]
result[predict_labels] y_pred_DT
result.to_csv(result.csv, index False)# 特征重要性评估
best_DT clf.best_estimator_
best_DT.fit(X_train, y_train)# 重要性绘制
plt.figure(figsize(8, 6))
pd.Series(best_DT.feature_importances_, indexX_train.columns).sort_values().plot(kindbarh)
