网站建设结构,免费域名注册优惠,长春百度搜索排名,网站开发后台需要哪些技术众所周知#xff0c;逻辑回归常用于解决二分类任务#xff0c;但是在工作/学习/项目中#xff0c;我们也经常要解决多分类问题。本文总结了 3 种逻辑回归解决多分类的方法#xff0c;并分析了他们的优缺点。一、One-Vs-Rest假设我们要解决一个分类问题#xff0c;该分类问…众所周知逻辑回归常用于解决二分类任务但是在工作/学习/项目中我们也经常要解决多分类问题。本文总结了 3 种逻辑回归解决多分类的方法并分析了他们的优缺点。一、One-Vs-Rest假设我们要解决一个分类问题该分类问题有三个类别分别用▲■ 和 × 表示每个实例Entity有两个属性Attribute如果把属性 1 作为 X 轴属性 2 作为 Y 轴训练集Training Dataset的分布可以表示为下图One-Vs-Rest 的思想是把一个多分类的问题变成多个二分类的问题。转变的思路是选择其中一个类别为正类Positive使其他所有类别为负类Negative。比如第一步我们将 ▲ 所代表的实例全部视为正类其他实例全部视为负类得到的分类器同理第二步我们把 x 视为正类其他视为负类可以得到第二个分类器最后第三步第三个分类器是把 ■ 视为正类其余视为负类对于一个三分类问题我们最终得到 3 个二元分类器。在预测阶段每个分类器可以根据测试样本得到当前正类的概率即 P(y i | x; θ)i 1, 2, 3。选择计算概率结果最高的分类器其正类就可以作为预测结果。【优点】普适性比较广可以应用于能输出值或者概率的分类器同时效率相对较好有多少个类别就训练多少个分类器。【缺点】很容易造成训练集样本数量的不平衡Unbalance尤其在类别较多的情况下经常容易出现正类样本的数量远远不及负类样本的数量这样就会造成分类器的偏向性。二、One-VS-One相比于 One-Vs-Rest 由于样本数量可能的偏向性带来的不稳定性One-Vs-One 是一种相对稳健的扩展方法。对于同样的三分类问题我们让不同类别的数据两两组合训练分类器可以得到 3 个二元分类器。它们分别是 ▲ 与 x 训练得出的分类器▲ 与 ■ 训练的出的分类器以及 ■ 与 x 训练得出的分类器假如我们要预测的一个数据在图中红色圆圈的位置那么第一个分类器会认为它是 x第二个分类器会认为它偏向▲第三个分类器会认为它是 x经过三个分类器的投票之后可以预测红色圆圈所代表的数据的类别为 x。【优点】在一定程度上规避了数据集 unbalance 的情况性能相对稳定并且需要训练的模型数虽然增多但是每次训练时训练集的数量都降低很多其训练效率会提高。【缺点】训练出更多的 Classifier会影响预测时间。如果有 k 个不同的类别对于 One-Vs-All 来说一共只需要训练 k 个分类器而 One-Vs-One 则需训练 C(k, 2) 个分类器只是因为在本例种k 3 时恰好两个值相等一旦 k 值增多One-Vs-One 需要训练的分类器数量会大大增多。三、Softmax 函数该模型将逻辑回归推广到分类问题其中类标签 y 可以采用两个以上的可能值。这对于诸如MNIST数字分类之类的问题将是有用的其中目标是区分10个不同的数字。在softmax回归中我们对多类分类感兴趣而不是仅对二元分类所以y可以取k个不同的取值。因此在我们的训练集 其中 。给定测试输入 x 我们希望模型估计每个类别的概率。因此模型将输出k维向量其元素总和为1给出 k 个类别的估计概率。具体地说我们的假设 采用以下形式其中 是模型的参数而 是归一化项。为方便起见用向量法来表示模型的所有参数。当实现 softmax 回归时将θ表示为通过堆叠 成行获得的 的矩阵通常很方便这样损失函数求导后可得更新参数【注】 One-vs-Rest V.S. Softmax假设正在处理音乐分类应用程序并且正在尝试识别 k 种类型的音乐。您应该使用softmax分类器还是使用逻辑回归构建k个单独的二元分类器呢这取决于这四个类是否相互排斥。如果类别之间是互斥的softmax 会比较合适如果类别之间不是互斥的用 OvR 比较合适。例如如果四个类是经典乡村摇滚和爵士乐每个训练样例都标有这四个类别标签中的一个那么您应该构建一个 k 4 的 softmax 分类器因为这些标签都是互斥的。但是如果类别是舞蹈配乐流行音乐那这些并不相互排斥因为可以有一段来自音轨的流行音乐另外还有人声。在这种情况下构建 4 个二元逻辑回归分类器更合适。这样对于每个新的音乐作品算法可以单独决定它是否属于四个类别中的每一个。总结如果类别之间是互斥的那么用 softmax 会比较合适如果类别之间不是互斥的用 OvR 比较合适。参考[1] 力扣LeetCode3 种方法实现逻辑回归多分类zhuanlan.zhihu.com[2] 飞鱼Talk逻辑回归 - 4 逻辑回归与多分类zhuanlan.zhihu.com
