泉州公司建站模板,发泡机 东莞网站建设,中小企业网站建设客户需求调查问卷,wordpress广告栏Hard Negative Mining Method 思想
hard是困难样本#xff0c;negative是负样本#xff0c;hard negative就是说在对负样本分类时候#xff0c;loss比较大#xff08;label与prediction相差较大#xff09;的那些样本#xff0c;也可以说是容易将负样本看成正样本的那些…Hard Negative Mining Method 思想
hard是困难样本negative是负样本hard negative就是说在对负样本分类时候loss比较大label与prediction相差较大的那些样本也可以说是容易将负样本看成正样本的那些样本。
例如roi里没有物体全是背景这时候分类器很容易正确分类成背景这个就叫easy negative如果roi里有二分之一个物体标签仍是负样本这时候分类器就容易把他看成正样本即假阳性(false positive)这时候就是hard negative。
hard negative mining就是多找一些hard negative加入负样本集进行训练这样会比easy negative组成的负样本集效果更好。主要体现在虚警率更低一些也就是false positive少。因为它相当于一个错题集。
如何判断它为困难负样本呢也很简单我们先用初始样本集去训练网络再用训练好的网络去预测负样本集中剩余的负样本选择其中得分最高即最容易被判断为正样本的负样本为困难样本加入负样本集中重新训练网络循环往复然后我们会发现:咦我们的网络的分类性能越来越强了假阳性负样本与正样本间也越来越相似了(因为此时只有这些妖怪区域能迷惑我们的分类器了)。
Hard Negative Mining Method 使用
通常 使用 Hard Negative Mining Method 的方法为
迭代地交替训练用样本集更新模型然后再固定模型来选择分辨错的目标框并加入到样本集中继续训练。传统我们会使用 SVM Hard Negative Mining Method 进行训练 Hard Negative Mining Method 缺点
那么传统的 Hard Negative Mining Method 有什么 缺点 呢
Hard Negative Mining Method 很难应用到 end-to-end 的检测模型。 因为 Hard Negative Mining Method 需要迭代训练如果我们将他使用到 end-to-end 的卷积神经网络需要每次将网络冻结一段时间用来生成 hard negative。而这对于使用线上优化的算法来说是不可能的例如 SGD (随机梯度下降算法)。使用 SGD 来训练网络需要上万次更新网络如果每迭代几次就固定模型一次这样的速度会慢得不可想象。
我们可以观察到在 fast rcnn 和 faster rcnn 中都没有用到 Hard Negative Mining Method。这就是因为如上的原因一般使用 SVM 分类器才能使用此方法SVM 分类器和 Hard Negative Mining Method 交替训练
