天合建设集团网站,基于.net音乐网站开发,养殖类网站模板,郑州网站建设 易云互联#x1f680;个人主页#xff1a;为梦而生~ 关注我一起学习吧#xff01; #x1f4a1;专栏#xff1a;机器学习 欢迎订阅#xff01;后面的内容会越来越有意思~ #x1f4a1;往期推荐#xff1a; 【机器学习基础】机器学习入门#xff08;1#xff09; 【机器学习基… 个人主页为梦而生~ 关注我一起学习吧 专栏机器学习 欢迎订阅后面的内容会越来越有意思~ 往期推荐 【机器学习基础】机器学习入门1 【机器学习基础】机器学习入门2 【机器学习基础】机器学习的基本术语 【机器学习基础】机器学习的模型评估评估方法及性能度量原理及主要公式 【机器学习基础】一元线性回归适合初学者的保姆级文章 本期内容本篇文章紧接着上篇文章的回归模型讲一下多元的线性回归~超级基础的文章赶紧收藏学习吧 文章目录 1 多元线性回归1.1 什么是多元线性回归1.2 多元的梯度下降 2 梯度下降需要注意的问题2.1 学习率2.2 特征缩放2.3 特征与多项式回归2.4 正规方程 1 多元线性回归
1.1 什么是多元线性回归 多元线性回归是一种统计分析方法它涉及到两个或更多的自变量并且因变量和自变量之间是线性关系。这种方法用于确定两个或更多个变量之间的定量关系。多元线性回归模型表示因变量Y与自变量X1X2X3等之间的线性关系。 承接我们上一篇文章预测房价的例子
目前为止我们探讨了单变量线性回归模型现在我们对房价模型增加更多的特征例如房间的数量楼层数和房屋的年龄等构成一个含有多变量的模型模型中的特征为x1,x2,…,xn。
增添更多特征后看一下各个变量名 n 代表特征的数量 x ( i ) x^{(i)} x(i)代表第i个训练实例表示特征矩阵中的第i行是一个向量比如说上图的 x ( 2 ) ( 1416 3 2 40 232 ) x^{(2)}\begin{pmatrix} 1416\\ 3\\ 2\\ 40\\ 232 \end{pmatrix} x(2) 14163240232 x j ( i ) x_{j}^{(i)} xj(i)代表特征矩阵中第 行的第 个特征也就是第 个训练实例的第 个特征。
假设函数 这个公式中有n1个参数和n个变量为了能够使公式简化一些引入 x 0 1 x_{0}1 x01,则公式转化为 h θ ( x ) θ 0 x 0 θ 1 x 1 θ 2 x 2 . . . θ n x n h_{\theta }(x)\theta _{0}x_{0}\theta _{1}x_{1}\theta _{2}x_{2}...\theta _{n}x_{n} hθ(x)θ0x0θ1x1θ2x2...θnxn 与单变量线性回归类似在多变量线性回归中我们也构建一个代价函数和单变量代价函数类似这个代价函数也是所有建模误差的平方和即
1.2 多元的梯度下降
我们的目标和单变量线性回归问题中一样是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为 下面是一元与多元的区别 2 梯度下降需要注意的问题
2.1 学习率 在梯度下降的公式中是学习率learning rate它决定了我们沿着能让代价函数下降程度最大的方向 向下迈出的步子有多大在批量梯度下降中我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。 学习率与偏导的共同作用 α \alpha α 虽然决定了我们迈出的步子的大小但是步子的大小却不仅仅是由 α \alpha α 决定的还与它后面的偏导数有关。 φ φ ϑ j J ( θ ) \frac{\varphi }{\varphi \vartheta _{j}}J(\theta ) φϑjφJ(θ)就是我们前面提到的“梯度”梯度的本质是一个向量(有大小有方向),其大小和 α \alpha α 一同决定了迈出步子的大小其方向决定了“下山”最快的方向。
学习率过大或者过小的影响
学习率过小
如果 α \alpha α太小即我们下山的步子迈的很小每次我们只能一点一点的移动这样导致我们走的很慢需要很多步才能走到最低点。
学习率过大
如果 α \alpha α太大那么梯度下降法可能会越过最低点甚至可能无法收敛下一次迭代又移动了一大步越过一次又越过一次一次次越过最低点直到你发现实际上离最低点越来远。
2.2 特征缩放 在我们面对多维特征问题的时候我们要保证这些特征都具有相近的尺度这将帮助梯度下降算法更快地收敛。 来看下面这个例子 假设我们使用两个特征房屋的尺寸和房间的数量尺寸的值为 0- 2000 平方英尺而房间数量的值则是 0-5 以两个参数分别为横纵坐标绘制代价函数的等高线图能看出图像会显得很扁梯度下降算法需要非常多次的迭代才能收敛。 解决的方法是尝试将所有特征的尺度都尽量缩放到一个固定的范围内 我们只需要使用以下方法就可以做到这一点
2.3 特征与多项式回归 对于这么多特征以及训练集如何选择才会使得训练出来的函数预测效果更好呢 如果需要更多的特征我们的多项式会显得特别的冗长我们可以将某些特征用另外的少数特征来代替通过平方等方式表示 同时为了减小计算量前面的特征缩放的工作是十分有必要的。
2.4 正规方程 多元线性回归的正规方程是通过矩阵形式来求解线性回归参数的方法。其目的是通过求解导数为0来得到参数的最小二乘估计值。简单来说正规方程是通过数学方法快速计算出线性回归模型的最优解。 由前面我们知道代价函数 J ( θ ) 1 2 m Σ i 1 m h θ ( ( x ( i ) ) − y i ) 2 J(\theta )\frac{1}{2m}\Sigma _{i1}^{m}h_{\theta }((x^{(i)})-y^{i})^{2} J(θ)2m1Σi1mhθ((x(i))−yi)2,我们也可以把它改写成下面的形式 这里我们的目标仍然是求代价函数的最小值使用下面的方法就可以求出对于每一个 θ \theta θ都让它对应的偏导等于0 假设我们的训练集特征矩阵为 包含了 0 1 并且我们的训练集结果为向量 则利用正规方程解出向量 θ ( X T X ) − 1 X T y \theta (X^{T}X)^{-1}X^{T}y θ(XTX)−1XTy 下面是以四个特征为例利用正规方程的求解
最后这则方程和梯度下降法的比较 另外
梯度下降适用于各种模型正则方程只适用于线性模型不适用逻辑回归等其他模型
