南京本地网站建站,美术馆网站建设总体要求,哈尔滨专业做网站,网页制作平台哪个最好在机器学习和数据科学的江湖中#xff0c;评估模型的好坏是非常关键的一环。而 ROC#xff08;Receiver Operating Characteristic#xff09;曲线和 AUC#xff08;Area Under Curve#xff09;正是评估分类模型性能的重要工具。
这个知识点在面试中也很频繁的出现。尽管…在机器学习和数据科学的江湖中评估模型的好坏是非常关键的一环。而 ROCReceiver Operating Characteristic曲线和 AUCArea Under Curve正是评估分类模型性能的重要工具。
这个知识点在面试中也很频繁的出现。尽管理解这些概念本身不难但许多人在复习时容易混淆或在面试紧张时忘记影响回答效果。
本篇文章将会从基础概念入手逐步深入到实际操作。我们会详细解释 ROC 曲线和 AUC 的定义和意义通过实例和代码示范帮助大侠掌握这些工具的使用方法最后通过一些实际应用案例和相关概念的对比力求全面理解并灵活运用 ROC 和 AUC。
基础概念介绍 1.1 什么是 ROC 曲线 ROC 曲线即接收者操作特征曲线ROC曲线产生于第二次世界大战期间最早用在信号检测领域侦测战场上的敌军载具飞机、船舰。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率True Positive Rate简称 TPR与假阳性率False Positive Rate简称 FPR之间的权衡来帮助我们理解模型的分类能力。
1.2 什么是 AUC AUC即曲线下面积Area Under Curve是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标用来衡量分类模型的整体表现。AUC 值范围从 0 到 1值越大表示模型性能越好。
1.3 为何需要 ROC/AUC 在分类任务中特别是当数据集类别不平衡时单纯依赖准确率Accuracy可能会造成误导。为了更好地理解这一点让我们通过一个例子来说明。
例子说明 假设我们有一个武侠元素的数据集其中 95% 的样本是普通弟子5% 的样本是高手。
让我们通过代码示例来演示这一点代码供复现使用可直接跳过下滑到解释部分
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.metrics import roc_curve, roc_auc_score, accuracy_score, confusion_matrix
生成一个极度不平衡的武侠数据集
假设特征表示武功修炼时间、战斗胜率等标签表示是否为高手
X, y make_classification(n_samples1000, n_features20, n_classes2, weights[0.95, 0.05], random_state42)
将数据集分为训练集和测试集
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42)
创建一个总是预测普通弟子的模型
class AlwaysNegativeModel: def predict(self, X): return np.zeros(X.shape[0])
训练和预测
model AlwaysNegativeModel() y_pred model.predict(X_test)
计算混淆矩阵和准确率
cm confusion_matrix(y_test, y_pred) accuracy accuracy_score(y_test, y_pred)
计算 ROC 曲线和 AUC
在这里我们需要一个概率预测来计算 ROC 曲线和 AUC为了演示我们假设模型输出的是一个常量概率
y_pred_prob np.zeros(X_test.shape[0]) fpr, tpr, thresholds roc_curve(y_test, y_pred_prob) auc roc_auc_score(y_test, y_pred_prob)
可视化结果
plt.figure(figsize(10, 5))
plt.subplot(1, 2, 1) plt.title(“混淆矩阵”) plt.imshow(cm, interpolation‘nearest’, cmapplt.cm.Blues) plt.colorbar() plt.xlabel(“预测标签”) plt.ylabel(“真实标签”) plt.xticks([0, 1], [“普通弟子”, “高手”]) plt.yticks([0, 1], [“普通弟子”, “高手”]) for i in range(2): for j in range(2): plt.text(j, i, cm[i, j], ha“center”, va“center”, color“red”)
print(f准确率: {accuracy:.2f}“) print(fAUC: {auc:.2f}”) 结果分析 如果我们使用一个简单的分类器它总是预测所有样本为普通弟子。
这个模型的准确率为 95%看起来表现很好但实际上它根本无法识别高手是一个毫无用处的分类器。
这个分类器没有任何实际的分类能力因为它无法识别出真正的高手。 ROC 曲线和 AUC通过绘制 ROC 曲线并计算 AUC我们可以看到 AUC 为 0.50这表明模型没有任何区分能力。ROC 曲线是一条对角线显示模型在随机猜测。
准确率只告诉我们模型整体预测正确的比例但在类别不平衡的情况下这个指标可能会误导我们。ROC 曲线和 AUC 提供了更全面的视角展示了模型在不同阈值下的性能帮助我们更准确地评估模型的分类能力。 2. 详细解释 2.1 TPRTrue Positive Rate和 FPRFalse Positive Rate的定义 要理解 ROC 曲线首先需要明白 TPR 和 FPR 的概念
TPRTrue Positive Rate也称为灵敏度Sensitivity或召回率Recall表示的是在所有真实为正的样本中被正确预测为正的比例。其计算公式为 其中TPTrue Positives是将正类正确分类为正类的样本数FNFalse Negatives是将正类错误分类为负类的样本数。 FPRFalse Positive Rate表示的是在所有真实为负的样本中被错误预测为正的比例。其计算公式为 其中FPFalse Positives是将负类错误分类为正类的样本数TNTrue Negatives是将负类正确分类为负类的样本数。
2.2 AUC 的数学定义 AUCArea Under Curve是 ROC 曲线下的面积用于评估分类模型的性能。AUC 值的范围从 0 到 1值越大表示模型的性能越好。
数学上AUC 可以通过积分计算 在离散情况下AUC 可以通过梯形法则近似计算 3 绘制 ROC 曲线的步骤 绘制 ROC 曲线的步骤如下
选择阈值从 0 到 1 的不同阈值。
计算 TPR 和 FPR对于每个阈值计算相应的 TPR 和 FPR。
绘制曲线以 FPR 为横轴TPR 为纵轴绘制 ROC 曲线。 选择阈值从 0 到 1 的不同阈值 from sklearn.metrics import roc_curve
预测测试集概率
y_pred_prob model.predict_proba(X_test)[:, 1]
计算 ROC 曲线
fpr, tpr, thresholds roc_curve(y_test, y_pred_prob)
输出部分阈值
print(阈值: , thresholds[:10]) # 仅展示前10个阈值 计算 TPR 和 FPR对于每个阈值计算相应的 TPR 和 FPR
输出部分阈值对应的 TPR 和 FPR
for i in range(10): # 仅展示前10个阈值的对应值 print(f阈值: {thresholds[i]:.2f} - 假阳性率 (FPR): {fpr[i]:.2f}, 真阳性率 (TPR): {tpr[i]:.2f}) 绘制曲线以 FPR 为横轴TPR 为纵轴绘制 ROC 曲线 import matplotlib.pyplot as plt
可视化 ROC 曲线
plt.figure(figsize(8, 6)) plt.plot(fpr, tpr, color‘blue’, lw2, label‘ROC 曲线’) plt.plot([0, 1], [0, 1], color‘gray’, lw1, linestyle‘–’, label‘随机猜测’) plt.xlabel(“假阳性率 (FPR)”) plt.ylabel(“真阳性率 (TPR)”) plt.title(“ROC 曲线”) plt.legend(loc“lower right”)
在曲线上标出几个阈值点
threshold_points [0.2, 0.5, 0.8] for threshold in threshold_points: idx np.where(thresholds threshold)[0][0] plt.scatter(fpr[idx], tpr[idx], marker‘o’, color‘red’) plt.text(fpr[idx], tpr[idx], f阈值{threshold:.2f}, fontsize12)
plt.show()
plt.subplot(1, 2, 2) plt.title(“AUC 值示意”) plt.fill_between(fpr, tpr, color‘blue’, alpha0.3) plt.plot(fpr, tpr, color‘blue’, lw2, labelfAUC {auc:.2f}) plt.xlabel(“假阳性率”) plt.ylabel(“真阳性率”) plt.legend(loc“lower right”)
plt.tight_layout() plt.show()
print(fAUC: {auc:.2f})
那么我们该如何学习大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一、大模型全套的学习路线
学习大型人工智能模型如GPT-3、BERT或任何其他先进的神经网络模型需要系统的方法和持续的努力。既然要系统的学习大模型那么学习路线是必不可少的下面的这份路线能帮助你快速梳理知识形成自己的体系。
L1级别:AI大模型时代的华丽登场 L2级别AI大模型API应用开发工程 L3级别大模型应用架构进阶实践 L4级别大模型微调与私有化部署 一般掌握到第四个级别市场上大多数岗位都是可以胜任但要还不是天花板天花板级别要求更加严格对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。
以上的AI大模型学习路线不知道为什么发出来就有点糊高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
