抚州市住房和城乡建设局网站,用返利网站做爆款,怎么开电商,公众号开发微网站开发去量纲#xff1a;归一化、标准化1.归一化(Normalization)1.1 Min-Max Normalization1.2 非线性Normalization2.标准化(Standardlization)2.1 Z-score Normalization3.标准化在梯度下降算法中的重要性本博文为葫芦书《百面机器学习》阅读笔记。去量纲化 可以消除特征之间量纲的…
去量纲归一化、标准化1.归一化(Normalization)1.1 Min-Max Normalization1.2 非线性Normalization2.标准化(Standardlization)2.1 Z-score Normalization3.标准化在梯度下降算法中的重要性本博文为葫芦书《百面机器学习》阅读笔记。去量纲化 可以消除特征之间量纲的影响将所有特征统一到一个大致相同的数值区间内以便不同量级的指标能够进行比较和加权处理。
去量纲化的好处 (1).使得不同量纲之间的特征具有可比性消除量纲引起的特征数值量级对分析结果的影响
(2).未归一化的特征数值太大将引起数值计算问题
(3).利用梯度下降算法求解的模型输入特征数据通常需要归一化处理线性回归逻辑回归支持向量机神经网络模型,可以加速算法的收敛过程。
去量纲化的方法 两类常用的方法归一化、标准化
1.归一化(Normalization)
1.1 Min-Max Normalization
x′x−XminXmax−Xminx\frac{x-X_{min}}{X_{max}-X_{min}}x′Xmax−Xminx−Xmin
作用 将原始特征数据线性映射到[0,1] 优点 线性变换对数据进行处理不会改变原有数据的性质 缺点 新数据加入Xmin,XmaxX_{min},X_{max}Xmin,Xmax可能会发生变化所有数据需要重新进行归一化处理。
1.2 非线性Normalization
对数变换x′logxx\log xx′logx 反正切变换x′2πarctanxx\frac{2}{\pi}\arctan xx′π2arctanx 适用情况用于数据分化较大的场景有些数据很大有些数据很小 。需要依据数据分布情况决定使用的非线性函数。
2.标准化(Standardlization)
2.1 Z-score Normalization
零均值标准化 x′x−μσx\frac{x-\mu}{\sigma}x′σx−μ 其中μ\muμ 原始数据均值σ\sigmaσ原始数据标准差 (数据量很大的情况下这两个统计量对 加入新数据 不敏感故可以处理新添加数据的情况)x−μx-\mux−μ 为数据中心化将数据中心平移到原点。
适用情况 原始数据分布接近正态分布将原始数据 标准化 为均值为0 方差为1 的分布。 优点 线性变换对数据进行处理不会改变原有数据的性质
3.标准化在梯度下降算法中的重要性
参考博文通俗易懂理解特征归一化对梯度下降算法的重要性https://blog.csdn.net/feijie7788/article/details/89812737
涉及数学知识 1.一个三维曲面zf(x,y)zf(x,y)zf(x,y)被一系列平面zczczc所截得到一系列等值线。
2.曲面上某点P 梯度方向 定义函数在该点增长最快的方向。 通过方向导数与fxf_xfx和fyf_yfy的关系得出函数在P点增长最快的方向为(fx,fy)(f_x,f_y)(fx,fy),即为梯度方向。
3.等值线上 P点法线方向垂直于P点切线方向。P点切线方向(dx,dy)(dx,dy)(dx,dy)斜率为dydx\frac{dy}{dx}dxdy, 由隐函数求导规则可得dydx−fxfy\frac{dy}{dx}-\frac{f_x}{f_y}dxdy−fyfx. 则法线斜率为fyfx\frac{f_y}{f_x}fxfy,即法线方向为(fx,fy)(f_x,f_y)(fx,fy) .所以曲线上某点的梯度方向与过该点的等值线的法线方向相同。
4.cf(x,y)隐函数求导(两边同时对x求导) 0∂f∂x∂f∂ydydxdydx−fxfy0\frac{\partial f}{\partial x}\frac{\partial f}{\partial y}\frac{dy}{d x}\frac{dy}{d x}-\frac{f_x}{f_y}0∂x∂f∂y∂fdxdydxdy−fyfx
5.相互垂直两个向量a(x1,y1),b(x2,y2)a(x_1,y_1),b(x_2,y_2)a(x1,y1),b(x2,y2),夹角θ\thetaθ 内积定义垂直关系∣a∣∣b∣cosθ0|a||b|\cos \theta0∣a∣∣b∣cosθ0 坐标垂直关系:x1x2y1y20x_1x_2y_1y_20x1x2y1y20(带入ax1iy1j,bx2iy2j,a∗b计算ax_1iy_1j,bx_2iy_2j,a*b计算ax1iy1j,bx2iy2j,a∗b计算) 两向量与x轴夹角正玄值关系−1y2x2y1x1-1\frac{y_2}{x_2} \frac{y_1}{x_1}−1x2y2x1y1
参考博文 1.梯度方向与等高线方向垂直的理解https://blog.csdn.net/bitcarmanlee/article/details/85275016 2.等值线与梯度的几何意义https://jingyan.baidu.com/article/da1091fb475551027849d6b7.html 3.一文读懂梯度下降算法(各种导数)https://www.cnblogs.com/hithink/p/7380838.html 4.据预处理之中心化零均值化与标准化归一化https://www.cnblogs.com/wangqiang9/p/9285594.html 5.归一化 Normalization、标准化 Standardization和中心化/零均值化 Zero-centered(简书):https://www.jianshu.com/p/95a8f035c86c
