教务管理网站开发,福州制作手机网站,郴州网络营销,flash型网站网址文章目录 1 单标签二分类问题1.1 单标签二分类算法原理1.2 Logistic算法原理 2 单标签多分类问题2.1 单标签多分类算法原理2.2 Softmax算法原理2.3 ovo2.4 ovr2.5 OvO和OvR的区别2.6 Error Correcting 3 多标签算法问题3.1 Problem Transformation Methods3.1.1 Binary Relevan… 文章目录 1 单标签二分类问题1.1 单标签二分类算法原理1.2 Logistic算法原理 2 单标签多分类问题2.1 单标签多分类算法原理2.2 Softmax算法原理2.3 ovo2.4 ovr2.5 OvO和OvR的区别2.6 Error Correcting 3 多标签算法问题3.1 Problem Transformation Methods3.1.1 Binary Relevance3.1.2 Classifier Chains3.1.3 Calibrated Label Ranking 3.2 Algorithm Adaptation3.2.1 ML-kNN3.2.2 ML-DT 1 单标签二分类问题
1.1 单标签二分类算法原理
单标签二分类这种问题是我们最常见的算法问题主要是指label标签的取值只有两种并且算法中只有一个需要预测的label标签直白来讲就是每个实例的可能类别只有两种(A or B)此时的分类算法其实是在构建一个分类线将数据划分为两个类别。常见的算法Logistic、SVM、KNN等 1.2 Logistic算法原理 2 单标签多分类问题
2.1 单标签多分类算法原理
单标签多分类问题其实是指待预测的label标签只有一个但是label标签的取值可能有多种情况直白来讲就是每个实例的可能类别有K种(t1,t2,…tk,k≥3)常见算法Softmax、KNN、决策树等 2.2 Softmax算法原理 在实际的工作中如果是一个多分类的问题我们可以将这个待求解的问题转换 为二分类算法的延伸即将多分类任务拆分为若干个二分类任务求解具体的策 略如下
One-Versus-One(ovo)一对一One-Versus-All / One-Versus-the-Rest(ova/ovr) 一对多Error Correcting Output codes(纠错码机制)多对多 2.3 ovo
原理将K个类别中的两两类别数据进行组合然后使用组合后的数据训练出来一个模型从而产生K(K-1)/2个分类器将这些分类器的结果进行融合并将分类器的预测结果使用多数投票的方式输出最终的预测结果值。 https://scikit-learn.org/0.19/modules/generated/sklearn.multiclass.OneVsOneClassifier.html#sklearn.multiclass.OneVsOneClassifier
2.4 ovr
原理在一对多模型训练中不是两两类别的组合而是将每一个类别作为正例其它剩余的样例作为反例分别来训练K个模型然后在预测的时候如果在这K个模型中只有一个模型输出为正例那么最终的预测结果就是属于该分类器的这个类别如果产生多个正例那么则可以选择根据分类器的置信度作为指标来选择置信度最大的分类器作为最终结果常见置信度精确度、召回率。 https://scikit-learn.org/0.19/modules/generated/sklearn.multiclass.OneVsRestClassifier.html#sklearn.multiclass.OneVsRestClassifier
2.5 OvO和OvR的区别 2.6 Error Correcting
原理将模型构建应用分为两个阶段编码阶段和解码阶段编码阶段中对K个类别中进行M次划分每次划分将一部分数据分为正类一部分数据分为反类每次划分都构建出来一个模型模型的结果是在空间中对于每个类别都定义了一个点解码阶段中使用训练出来的模型对测试样例进行预测将预测样本对应的点和类别之间的点求距离选择距离最近的类别作为最终的预测类别。 https://scikit-learn.org/0.19/modules/generated/sklearn.multiclass.OutputCodeClassifier.html#sklearn.multiclass.OutputCodeClassifier
3 多标签算法问题
Multi-Label Machine Learning(MLL算法)是指预测模型中存在多个y值具体分为两类不同情况
多个待预测的y值在分类模型中 一个样例可能存在多个不固定的类别。
根据多标签业务问题的复杂性可以将问题分为两大类
待预测值之间存在相互的依赖关系待预测值之间是不存在依赖关系的。
对于这类问题的解决方案可以分为两大类
转换策略(Problem Transformation Methods)算法适应(Algorithm Adaptation)。 3.1 Problem Transformation Methods
Problem Transformation Methods又叫做策略转换或者问题转换是一种将多标签的分类问题转换成为单标签模型构造的问题然后将模型合并的一种方式主要有以下几种方式
Binary Relevance(first-order)Classifier Chains(high-order)Calibrated Label Ranking(second-order)
3.1.1 Binary Relevance
Binary Relevance的核心思想是将多标签分类问题进行分解将其转换为q个二元分类问题其中每个二元分类器对应一个待预测的标签。q为y的数目也就是标签的数目 Binary Relevance方式的优点如下
实现方式简单容易理解当y值之间不存在相关的依赖关系的时候模型的效果不错。
缺点如下
如果y直接存在相互的依赖关系那么最终构建的模型的泛化能力比较弱需要构建q个二分类器q为待预测的y值数量当q比较大的时候需要构建的模型 会比较多。
3.1.2 Classifier Chains
Classifier Chains的核心思想是将多标签分类问题进行分解将其转换成为一个二元分类器链的形式其中链后的二元分类器的构建是在前面分类器预测结果的基础上的。在模型构建的时候首先将标签顺序进行shuffle打乱排序操作然后按照从头到尾分别构建每个标签对应的模型。 Classifier Chains方式的优点如下
实现方式相对比较简单容易理解考虑标签之间的依赖关系最终模型的泛化能力相对于Binary Relevance方式构建的模型效果要好。
缺点如下
很难找到一个比较适合的标签依赖关系。
https://scikit-learn.org/0.19/modules/generated/sklearn.multioutput.ClassifierChain.html#sklearn.multioutput.ClassifierChain
3.1.3 Calibrated Label Ranking
Calibrated Label Ranking的核心思想是将多标签分类问题进行分解将其转换为标签的排序问题最终的标签就是排序后最大的几个标签值。 Calibrated Label Ranking 方式的优点如下
考虑了标签两两组合的情况最终的模型相对来讲泛化能力比较好。
缺点如下
只考虑两两标签的组合没有考虑到标签与标签之间的所有依赖关系。
https://scikit-learn.org/0.19/modules/generated/sklearn.multioutput.MultiOutputClassifier.html#sklearn.multioutput.MultiOutputClassifier
3.2 Algorithm Adaptation
Algorithm Adaptation又叫做算法适应性策略是一种将现有的单标签的算法直接应用到多标签上的一种方式主要有以下几种方式
ML-kNN ML多个标签的意思ML-DT
3.2.1 ML-kNN
k近邻算法(k-Nearest Neighbour, KNN)的思想如果一个样本在特征空间中的k个最相似(即特征空间中距离最近)的样本中的大多数属于某一个类别那么该样本属于这个类别。
**ML-kNN的思想**对于每一个实例来讲先获取距离它最近的k个实例然后使用这些实例的标签集合通过最大后验概率(MAP)来判断这个实例的预测标签集合的值。
**最大后验概率MAP**其实就是在最大似然估计(MLE)中加入了这个要估计量 的先验概率分布。 3.2.2 ML-DT
ML-DT是使用决策树处理多标签内容核心在于给予更细粒度的信息熵增益准则来构建这个决策树模型。
