购物网站开发设计思路,电话外呼系统呼叫中心系统,六安钢铁吧,安徽二建注销网站在哪查询异常检测算法先是将一些正常的样本做为无标签样本来学习模型p(x),即评估参数#xff0c;然后用学习到的模型在交叉验证集上通过F1值来选择表现最好的ε的值#xff0c;然后在测试集上进行算法的评估。这儿用到了带有标签的数据#xff0c;那么为什么不直接用监督学习对y1和y…异常检测算法先是将一些正常的样本做为无标签样本来学习模型p(x),即评估参数然后用学习到的模型在交叉验证集上通过F1值来选择表现最好的ε的值然后在测试集上进行算法的评估。这儿用到了带有标签的数据那么为什么不直接用监督学习对y1和y0的数据进行学习呢而是要用到异常检测算法先对无标签数据进行建模当成无标签数据其实都是正常的样本。 异常检测与监督学习有哪些区别 异常检测系统中一般正例样本即异常的样本很少一般0-20个或者50个,50也是很常见的这些异常样本用于交叉验证集与测试集中负例样本即正常的样本数量很大这些正常的样本用于拟合p(x),用于拟合参数u和σ2. 监督学习中正例样本与负例样本都一样多。 对于异常检测算法通常有多种不同种类的异常如引起飞机引擎故障的原因有很多种你的正例样本较少里面可能只包含了5种、10种原因如果我们根据这些有问题的样本来建立了一个学习模型来了一个新的有问题的样本故障的原因不在里面我们就很难预测出这个是否是异常的飞机引擎因为我们从来没有见过。 如果我们有大量的正例样本这样就可以使用监督学习构建学习算法学习大量的正样本与负样本这样来了一个正例样本我们就可以通过看是否与训练集中的相似来判断 关键的区别在异常检测算法中我们只有少量的正样本异常情况因此学习算法不可能从这些正样本中学到太多东西故我们会使用大量的负样本(正常情况)从这些负样本中学习p(x),同时我们会使用那部分少量的正样本(异常情况)来评估我们的算法用于交叉验证集与测试集. 在垃圾邮件问题中虽然垃圾邮件的种类会非常多如购物邮件钓鱼邮件等但是因为我们有很多这些垃圾邮件的样本我们可以从这些邮件中学习到垃圾邮件识别算法因此我们一般会使用监督学习来进行垃圾邮件的识别。 异常检测与监督学习的一些应用 通常欺诈检测使用的是异常检测但是如果你有大量的用户欺诈的数据也可以使用监督学习。 在工业生产中我们一般希望出现问题的产品很少这时使用异常检测如果出现问题的产品很多时我们也可以转化为监督学习来进行学习。 总结 1正样本有问题的样本、异常样本的数量很少时使用异常检测系统转载于:https://www.cnblogs.com/yan2015/p/7404921.html
