济南优化网站的哪家好,上海住房和城市建设厅网站,中国优秀网站,自己建一个网站需要什么在模型评估过程中#xff0c;分类、回归、排序问题往往使用不同的指标进行评估。分类问题通常用准确率、召回率、精准率、F1值等指标进行评估#xff1b;回归问题使用MSE、RMSE、R^2、MAPE等#xff1b;
1 分类评估原理
1.1 准确率的局限性
我们经常接触的评价指标就是准…在模型评估过程中分类、回归、排序问题往往使用不同的指标进行评估。分类问题通常用准确率、召回率、精准率、F1值等指标进行评估回归问题使用MSE、RMSE、R^2、MAPE等
1 分类评估原理
1.1 准确率的局限性
我们经常接触的评价指标就是准确率当准确率很高我们则认为这个模型很好但是如果存在数据样本不均衡当负样本占99%时分类器将所有的样本都预测为负样本也可以获得99%的准确率。所以当不同类别的样本比例非常不均衡时占比大的类别就成了影响准确率的最主要因素。
1.2混淆矩阵
针对“二分类”问题我们可以建立混淆矩阵。 预测值 P N 真 实 值 P TP FP N FN TN
其中P是Positive代表正例N是Negative代表负例。
TP真实值为正例被预测成正例FP真实值为正例被预测成负例TN真实值为负例被预测成负例FN真实值为负例被预测成正例精准率Precision判断正例有多少被预测准确的即TP/(TPFP)召回率Recall判断被预测为正例的有多少是准确的即TP/(TPFN)F12*(P*R/PR)
1.3 P-R曲线和ROC曲线
P-R曲线是从查准率和查全率的角度去衡量学习模型的泛化性能P-R曲线的横轴是召回率纵轴是精准率在曲线上的一个点都代表在某一阈值下模型将大于该阈值的样本判定为正样本小于该阈值的样本判定为负样本。
ROC曲线是受试者工作特征曲线Receiver Operating Characteristic Curve,常用来进行模型评估。ROC曲线是通过不断移动分类器的“截断点”来生成曲线上的一组关键点的设定阈值截断点当预测样本的概率大于阈值时被判断为正例。ROC的横纵坐标表示为
横坐标假阳性率FPRFP/N纵坐标真阳性率TPRTP/P
当截断点是正无穷时所有的样本被判定为负例则FP和TP为0FPR和TPR也为0曲线的第一个坐标为0.反之最后一个坐标为1,1。
经测试在样本不均衡时ROC曲线基本保持原貌而P-R曲线则变化较大。
1.4 AUC
AUC是ROC曲线下的面积大小该值能够量化地反映基于ROC曲线衡量出的模型性能。AUC的取值范围在0.5-1之间。
1.5 BLEU机器翻译
BLEUbilingual evaluation understudy是机器翻译常用指标。
1.6 RougeL文本摘要
RougeL是基于LCS最长公共子序列的Recall-Oriented Understudy for Gisting Evaluation常用于文本摘要。
2、回归问题评估指标
回归问题通常是用MSERMSEMAPE等指标
MSE是均方误差Mean Squared Error真实值减去预测值公式为
RMSE是均方根误差Root Mean Squared Error公式为
当模型因为个别离群点导致RMSE指标表现性不好时可以考虑用MAPE指标。
MAPE是平均绝对百分比误差Mean Absolute Precent Error,公式为
3 paddle的应用
3.1.Paddle
所在包paddle.metric
准确率Accuracy
参数 AUC(ROC曲线下的面积)
参数 精准率Precision是被预测为正样例中实际为正的比例。
参数 召回率Recall是指得到的相关实例数占相关实例总数的比例。
参数 3.2.Paddlenlp
所在包
BLEUbilingual evaluation understudy是机器翻译常用指标ChunlEvaluator是常用于序列标注任务例如命名实体识别NER计算组块chunk的precision, recall and F1-scoreDistinctDistinct是一种通过计算不同n-gram的数量来评估生成文本的文本多样性的算法。不同n-gram的数量越大文本的多样性越高AccuracyAndF1是计算Accuracy, Precision, Recall and F1 metric logicMCC是计算 Matthews correlation coefficient 相关系数PearsonAndSpearman是计算Pearson correlation coefficient and Spearmans rank correlation coefficient .相关系数Perplexity是计算交叉熵的时候用的RougeL是基于LCS最长公共子序列的Recall-Oriented Understudy for Gisting Evaluation参考
常见32项NLP任务及其评价指标和对应达到SOTA的paper
paddlenlp
飞浆官网
