哪些网站可以做调查问卷,专注移动网站建设,国家企业查询官网入口,vps的网站打不开大家好#xff0c;我是爱讲故事的某某某。 欢迎来到今天的【五分钟机器学习】专栏内容 --《向量支持机SVM》 今天的内容将详细介绍SVM这个算法的训练过程以及他的主要优缺点#xff0c;还没有看过的小伙伴欢迎去补番#xff1a;【五分钟机器学习】向量支持机SVM——学霸中的…大家好我是爱讲故事的某某某。 欢迎来到今天的【五分钟机器学习】专栏内容 --《向量支持机SVM》 今天的内容将详细介绍SVM这个算法的训练过程以及他的主要优缺点还没有看过的小伙伴欢迎去补番【五分钟机器学习】向量支持机SVM——学霸中的战斗机在视频的内容中我们介绍了SVM的主要思想及Hard Margin SVM的优化过程。在今天的专栏中我们将填上视频中的坑本期专栏的主要内容有两块推导Hard Margin SVM两个Margin Boundary之间的距离Soft-Margin SVM 的逻辑思路介绍推导Hard Margin SVM两个Margin Boundary之间的距离我们假定一个Hard Margin SVM如下图所示。Fig1. Hard-Margin SVM实例其中决策分界面Decision Boundary的公式Eq1. Decision Boundary两个边界分界面Margin Boundary的公式Eq2. Margin Boundary我们假定图1中高光的点()在边界分界面上面即满足Eq2中的条件b1x1b2x2b0 1(落在红色的线上面)。那么根据点到直线的公式Eq3. 高光点HiSample到决策分界面DecBoundary的距离根据定义:所以Eq3可以写成Eq4. 高光点到决策分界面的距离因为决策分界面正好在两个边界分界面的正中间即两个类别之间的间距为Eq5. 两个边界分界面之间的距离即HardMargin以上就是Hard-Margin SVM的两个边界分界面之间的距离的推导过程。Soft-Margin SVM 的逻辑思路介绍Soft-Margin SVM要解决的问题有两个和Hard-MarginSVM一样需要最大化间距在保证大局的正确性的同时引入容错率这个概念对于第一点如果你还记得我们的做法是将距离公式转化为Hard-margin SVM的Loss function。使其在最小化Loss的同时也可以最大化Margin即Eq6. Hard Margin SVM的Loss在这个基础上我们引入Hinge Loss作为允许部分错误分类的过程。所以我们Soft-Margin SVM的Loss可以写成Eq7. Soft Margin SVM的Loss其中N表示样本数量C表示惩罚系数(Penalty Term)而Hinge loss 的部分为Eq8. Hinge Loss 的定义【重点】这里我们不妨仔细看下这个公式他的逻辑分两层从内到外看对于下面的部分他的计算结果表示错误分类的误差和Eq9. Hinge Loss 的定义(2)比如当你y_n1并且b1x1b2x2b01时表示通过分类器得到的结果和样本真是标记相同这个式子的输出为0反之当你y_n1并且b1x1b2x2b0-1时表示通过分类器得到的结果和样本真是标记相反这个式子的输出为2表示为有误差。max(0, ....) 这部分表示为取上面步骤的误差计算结果和0这两个数值中大的数值作为输出。比如如果SVM的分类结果没错上面步骤的输出应该是0那么max(0,0)0;如果SVM的分类结果有误上面步骤的输出应该大于0(比如2)那么max(0,2)2;【重点】所以通过这个部分你可以看到优化Soft Margin SVM Loss的过程就是在平衡两个点1. 最大化间距(Hard SVM) 还是2. 允许部分误差(Hinge Loss)。而为了更好的平衡这两点我们引入了惩罚因子C。当C变大时意味着我们会更多的惩罚Hinge Loss,即尽可能少犯错当C变小时意味着我们会尽可能惩罚Hard SVM,也就是Margin更大。为了更好的理解这里给你准备了一个例子对比下Hard Margin SVM和Soft Margin SVM。可以看到Soft margin SVM 由于Hinge Loss的引入增加了很多容错率从而保证大局上的正确率。Fig2. Toy Dataset exampleFig3. Hard Margin SVM 分类结果Fig4. Soft Margin SVM分类结果以上就是今天的【五分钟机器学习】SVM篇的主要内容了。如果你觉得本期内容有所帮助欢迎素质三连。您的支持将是我继续发电的最大动力~我是某某某
