有关网站开发的文章,做婚纱摄影网站多少钱,苏州调查公司哪家好,开发一款小程序文章目录 一、集成学习1、传统学习的问题2、集成学习1#xff09;背景2#xff09;概念3#xff09;注意 3、多样性度量4、多样性增强1#xff09;多样性增强#xff1a;在学习过程引入随机性2#xff09; 输入属性扰动3#xff09; 输出表示扰动4#xff09; 算法参数… 文章目录 一、集成学习1、传统学习的问题2、集成学习1背景2概念3注意 3、多样性度量4、多样性增强1多样性增强在学习过程引入随机性2 输入属性扰动3 输出表示扰动4 算法参数扰动 5、集合策略1平均法2投票法3学习法 二、集成学习方法1、串行化方法1典型算法提升Boosting算法(Adaboost)2特点总结 2、并行化方法1典型算法Bagging算法2算法特点3特点总结4典型算法随机森林算法5算法流程6算法特点 一、集成学习
1、传统学习的问题
传统学习面临的问题没有任何情况下都最好的机器学习算法
2、集成学习
1背景
通过将多个学习器进行集成常可获得比单一学习器显著优越的泛化性能这对弱学习器尤为明显。
弱学习器准确率仅比随机猜测略高的学习器。 强学习器准确率高并能在多项式时间内完成的学习器。
2概念
通过构建并结合多个学习器完成学习任务 也称为多分类器系统(Multi-Classifier System)、基于委员会的学习(Committee based Learning)
3注意
多个学习器不一定比单一学习器性能好 由定理可知在一定条件下随着集成分类器数目的增加集成的错误率将指数级下降最终趋向于0
3、多样性度量
– 用于度量集成中个体学习器的多样性 – 考虑个体学习器的两两相似/不相似性
4、多样性增强
1多样性增强在学习过程引入随机性
– 数据样本扰动 • Bagging中的自助采样 • Adaboost中的序列采样 – 对数据样本扰动敏感的基学习器(不稳定基学习器) 效果明显 决策树神经网络等 – 对数据样本扰动不敏感的基学习器(稳定基学习器)效果不明显 线性学习器支持向量机朴素贝叶斯K近邻等
2 输入属性扰动
不同子空间提供观察数据的不同视角
对包含大量冗余属性数据可产生多样性大的个体学习器还因属性数减少会大幅节省时间开销若数据只含少量属性或冗余属性较少则不宜使用
3 输出表示扰动
在学习过程引入随机性
4 算法参数扰动
随机设置不同的参数或环节。 单一学习器利用交叉验证对参数寻优事实上相当于使用了不同参数训练学习器最后仅选择了一个而集成学习相当于把所有学习器都利用起来
– Adaboost加入了数据样本扰动 – 随机森林同时加入了数据样本扰动和输入属性扰动
5、集合策略
1平均法
数值型输出最常见的结合策略 加权平均法是集成学习的基本出发点各种结合方法都可视为其特例或变体不同的集成学习方法是通过不同的方式确定加权平均法中基学习器的权重
2投票法
标签型输出最常见的结合策略
3学习法
当训练数据很多时采用另一个学习器进行结合
二、集成学习方法
根据个体学习器生成方式不同形成两大类方法
1、串行化方法
条件个体学习器间存在强依赖关系
1典型算法提升Boosting算法(Adaboost)
– 重赋权法(Re-weighting)在每轮根据样本分布为每个训练样本重新赋予权重 – 重采样法(Re-sampling)在每轮根据样本分布对训练集重新采样形成新的训练集
先从初始数据集训练一个基学习器再根据其对训练样本分布权重进行调整使先前错分样本在后续受到更多关注基于调整后的样本分布训练下一个基学习器重复进行直至基学习器数目达到预先指定值最终将这些基学习器加权结合
2特点总结
基本思想是用贪心法最小化损失函数主要关注降低偏差顺序串行地最小化损失函数基于弱学习器逐步构造出很强的集成学习器bias自然逐步下降但是由于模型的相关性很强因此不能显著降低方差所以boosting主要靠降低bias来提升预测精度Boosting中每个模型是弱模型偏差高方差低
2、并行化方法
条件个体学习器间不存在强依赖关系
1典型算法Bagging算法
利用自助法采样(Bootstrap Sampling)可构造T个含m个训练样本的采样集基于每个采样集训练出一个基学习器再将它们进行结合在对预测输出结合时通常对分类任务使用简单投票法对回归任务使用简单平均法
2算法特点
时间复杂度低集成与直接训练一个学习器复杂度同阶 假定基学习器的计算复杂度为 O ( m ) O(m) O(m)采样与投票/平均过程的复杂度为 O ( s ) O(s) O(s)则 B a g g i n g Bagging Bagging的复杂度大致为 T ( O ( m ) O ( s ) ) T(O(m)O(s)) T(O(m)O(s))可以直接用于多分类、回归等任务可包外估计(Out-of-Bag Estimate)泛化性能
3特点总结
主要关注降低方差即通过多次重复训练提高稳定性在易受样本扰动的学习器上效用更为明显(如不剪枝的决策树、神经网络等)在Bagging中每个模型的偏差方差近似相同但是互相相关性不太高因此一般不能降低偏差Bagging中的模型是强模型偏差低方差高
4典型算法随机森林算法
Bagging方法的一种扩展变体。以决策树为基学习器。 – 数据集的随机选择自助采样法 – 待选属性的随机选择对基决策树的每个结点先从该结点的( d d d个)属性集合中随机选择一个包含 k k k 个属性的子集再从这个子集选择一个最优属性用于划分, 一般情况下推荐 k l o g 2 d klog_2d klog2d
5算法流程
– 从原始数据集中每次随机有放回抽样选取与原始数据集相同数量的样本数据构造数据子集
– 每个数据子集从所有待选择的特征中随机选取一定数量的最优特征作为决策树的输入特征
– 根据每个子集分别得到每棵决策树由多棵决策树共同组成随机森林
– 最后如果是分类问题则按照投票的方式选取票数最多的类作为结果返回如果是回归问题则按照平均法选取所有决策树预测的平均值作为结果返回 6算法特点
– 基学习器多样性通过样本扰动和属性扰动实现 – 算法简单、容易实现、计算开销小 – 性能强大被誉为“代表集成学习技术水平的方法”
