cookie做网站登录,厦门 网站制作,电商网站建设比较好的,爱站网seo查询精确率和召回率又被叫做查准率和查全率#xff0c;可以通过P-R图进行表示 如何理解P-R(精确率-召回率)曲线呢#xff1f;或者说这些曲线是根据什么变化呢#xff1f;
以逻辑回归举例#xff0c;其输出值是0-1之间的数字。因此#xff0c;如果我们想要判断用户的好坏…精确率和召回率又被叫做查准率和查全率可以通过P-R图进行表示 如何理解P-R(精确率-召回率)曲线呢或者说这些曲线是根据什么变化呢
以逻辑回归举例其输出值是0-1之间的数字。因此如果我们想要判断用户的好坏那么就必须定一个阈值。比如大于0.5指定为好用户小于0.5指定为坏用户然后就可以得到相应的精确率和召回率。但问题是这个阈值是我们随便定义的并不知道这个阈值是否符合我们的要求。因此为了寻找一个合适的阈值我们就需要遍历0-1之间所有的阈值而每个阈值都对应一个精确率和召回率从而就能够得到上述曲线。
根据上述的P-R曲线怎么判断最好的阈值点呢首先我们先明确目标我们希望精确率和召回率都很高但实际上是矛盾的上述两个指标是矛盾体无法做到双高。因此选择合适的阈值点就需要根据实际问题需求比如我们想要很高的精确率就要牺牲掉一些召回率。想要得到很高的召回率就要牺牲掉一些精准率。但通常情况下我们可以根据他们之间的平衡点定义一个新的指标F1分数(F1-Score)。F1分数同时考虑精确率和召回率让两者同时达到最高取得平衡。F1分数表达式为 上图P-R曲线中平衡点就是F1值的分数。 准确率和召回率之间通常存在一定的折衷关系——当阈值较高时分类器的准确率较高但召回率较低
当阈值较低时分类器的召回率较高但准确率较低 召回率(灵敏度)对实际为正类的样本模型能识别出多少是正类(灵敏度) 分母实际类别为正的样本个数(TPFN实际为正类的样本个数) 分子预测为正实际为正的样本个数(TP)精确率对正类样本的预测准确程度 分母预测为正的样本个数(TPFP正确预测错误预测) 分子预测为正实际为正(TP)准确率对所有类别的样本的预测准确程度 分母所有类别样本个数(预测为正样本个数预测为负样本个数) 分子正确预测样本个数(预测为正实际为正预测为负实际为负) 召回率把正样本叫唤回来因为我们把本来是正的样本给否定了提升它就是尽量不要把正确的搞错了也就是不漏报精准率就是看我们预测的正样本的到底有多少是真正的正样本因为有一些负的我们把它判为正了提升精准率就是不错报。 精确率分母是预测到的正类精确率的提出是让模型的现有预测结果尽可能不出错(宁愿漏检也不能让现有的预测有错) 召回率分母是原本的正类召回率的提出是让模型预测到所有想被预测到的样本(就算多预测一些错的也能接受) 召回率和精确率二者整体是呈负相关关系局部可能正相关
当TP增加召回率一定也增加(TP/实际为正样本数量不变)而对于精确率TP增大FP可能减小也可能增大(更容易增大)。TP增加FP减小这是理想情况(低偏差)更符合实际情况的是TP增加FP也增加即分母(TPFP)更容易增大精确率则更容易减小。当分子TP增加的部分没有分母增加的多时精确率减小反映到PR曲线上召回率和精确率整体负相关但局部可能正相关例如分子TP增大1分母(TP增大1FP减小2)减小精确率增大。总结一句话就是TP增大召回率一定增大而精确率更容易减小
precisionfocus在不出现错误的分类宁可漏掉不能出错
recallfocus在分类不出现遗漏宁可出错不能漏掉 假设你很穷地主老爷送了一堆掺了沙子(N)的大米(P)现在要做饭了需要将大米(P)跟沙子(N)进行分离将掺了沙子(N)的大米(P)分成大米堆(P类)与沙子堆(N类)做饭用大米堆(P类)沙子堆(N类)则选择丢弃以下有几个指标可以评估分离的好坏程度
大米堆(P类)TPFP
沙子堆(N类)TNFN
1、准确率(TPTN)/(TPFPTNFN)——全局预测准确性
能成功地(T)把大米(TP)放进大米堆(TPFP)成功地(T)把沙子(TN)放进沙子堆(TNFN)综合成功率是多少呢这就是准确率的关注点看全局的分类能力不仅要把大米(TP)分对(T)还要把沙子(TN)也分对(T)。
2、精确率TP/(TPFP)——正分类里的预测准确性
准确率有个缺陷要求太高了。比如你的目的就是煮饭也就是说你更关注大米堆(TPFP)你不需要操心沙子(TN)到底有没有被成功地(T)分类到沙子堆(TNFN)。因此只要大米堆(TPFP)里的大米(TP)比例越多那你做饭的时候大概率吃到的还是大米(TP)而不是沙子(FN)。因此精确率就是看大米堆(TPFP)里拥有的可食用大米(TP)比例也可理解为将来做饭用的大米精度(浓度)。
3、召回率TP/(TPFN)——正样本的预测准确性
精确率关注的是吃饭时候尽可能不要吃到沙子所以他不关注粮食是否浪费的问题而召回率关注的就是粮食浪费的问题毕竟现在提倡节约所以召回率就是关注大米(TP)样本中被成功地(T)分类到大米堆(P堆)的比例。“召回率”可以理解为在所有大米(TPFN)中回收实际食用的大米(TP)的比例。 与前面的P-R曲线类似ROC曲线也是通过遍历所有阈值来绘制曲线的。如果我们不断的遍历所有阈值预测的正样本和负样本是在不断变化的相应的ROC曲线TPR和FPR也会沿着曲线滑动。 同时我们也会思考如何判断ROC曲线的好坏呢我们来看FPR表示模型虚报的程度TPR表示模型预测覆盖的程度。理所当然的我们希望虚报的越少越好覆盖的越多越好。所以TPR越高同时FPR越低也就是ROC曲线越陡那么模型的性能也就越好。 最后我们来看一下不论样本比例如何改变ROC曲线都没有影响也就是ROC曲线无视样本间的不平衡问题。 6.2 AUC
AUC(Area Under Curve)表示ROC中曲线下的面积用于判断模型的优劣。如ROC曲线所示连接对角线的面积刚好是0.5对角线的含义也就是随机判断预测结果正负样本覆盖应该都是50%。另外ROC曲线越陡越好所以理想值是1即正方形。所以AUC的值一般是介于0.5和1之间的。AUC评判标准可参考如下
0.5-0.7效果较低。0.7-0.85效果一般。0.85-0.95效果很好。0.95-1效果非常好。
