discuz 旅游网站模版,好网站建设公司哪家好?,国内免费建站网站,php网站开发程序员看了很多资料#xff0c;本身想放一个正则化的概念的#xff0c;实在不敢放#xff0c;怕吓跑一堆人#xff0c;所以#xff0c;将就吧。首先#xff0c;我们知道正则化#xff08;Regularization#xff09;是解决过拟合问题的#xff0c;简单来说#xff0c;过拟合… 看了很多资料本身想放一个正则化的概念的实在不敢放怕吓跑一堆人所以将就吧。首先我们知道正则化Regularization是解决过拟合问题的简单来说过拟合也叫高方差就是训练样本效果比较好但是在测试集上的效果就比较差了官方一点的话就是模型的泛化能力太差。泛化能力一个假设模型能够应用到新样本的能力。解决过拟合我们可以采用1丢弃一些不能帮助我们正确预测的特征可以手工保留也可以采用算法例PCA2正则化处理。保留所有的特征但是减少参数的大小。正则化的方式有很多常见的有数据增强、L1正则化L2正则化早停Dropout等。正则化代价函数 经验代价函数 正则化参数 *正则化项其中经验损失函数就是我们所说的损失函数最小化误差让模型更好拟合训练集范数的概念从概率角度进行分析很多范数约束相当于对参数添加先验分布其中L2范数相当于参数服从高斯先验分布L1范数相当于拉普拉斯分布。从贝叶斯的角度来分析 正则化是为模型参数估计增加一个先验知识先验知识会引导损失函数最小值过程朝着约束方向迭代。相关资料表示L0和L1可以解决稀疏问题L0 问题是NP组合难问题对较大规模数据无法直接求解存在两种直接求解L0问题的算法
1贪婪算法
2门限算法问题
1贪婪算法时间代价过高无法保证收敛到全局最优
2门限算法时间代价低但对数据噪声十分敏感。解不具有连续性 无法保证全局最优解。L0应用场景压缩感知、稀疏编码L0过渡到L1从一个组合优化问题放松 到凸优化问题来解L1范数是L0范数的最优凸近似实线的椭圆代表示没有正则化目标的等值线虚线圆圈表示L1正则化的等值线里边涉及一堆数学推理我简化来说L1正则化可以产生稀疏矩阵去掉没用的特征将权重置为0有利于特征选择。扩充参考https://wenku.baidu.com/view/00613bc4f78a6529657d536c.html?fromsearchL2Tikhonov正则 权重衰减目标是通过向目标函数添加一个正则项使权重更加接近原点。实线的椭圆代表示没有正则化目标的等值线虚线圆圈表示L2正则化的等值线在岭回归中我们主要解决的问题就是特征数大于样本数的情况也是奇异矩阵问题。奇异矩阵若存在X的列间存在完全的线性依赖即它的某一或某些列元素正好是另一或另一列元素的线性函数这称为共线性 或多重共线性。X的共线性必然导致的列间和行间存在共性并使得奇异即行列式的值为0。则无法求解矩阵的逆。在回归分析中存在着近似于但不同于奇异矩阵的情况即行列式的值近似于0此类矩阵通常称为病态矩阵或者近奇异矩阵。 L2范数有助于计算病态问题。
