深圳网站制作 公司,wordpress如何打包成app,广州互邦物流网络优化建站,莆田制作公司网站一、线性回归的原理
1、线性回归应用场景 如何判定一个问题是回归问题的#xff0c;目标值是连续型的数据的时候
房价预测 销售额度预测 贷款额度预测、利用线性回归以及系数分析因子
2、线性回归定义 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(…一、线性回归的原理
1、线性回归应用场景 如何判定一个问题是回归问题的目标值是连续型的数据的时候
房价预测 销售额度预测 贷款额度预测、利用线性回归以及系数分析因子
2、线性回归定义 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式
找到一种函数关系来表示特征值和目标值之间的关系
3、函数关系
1首先假定特征值x1、x2、x3 2目标值是h(w) 3每个特征前还有个系数w1、w2、w3叫做权重值也叫回归系数 4右边b叫做偏置系数 5只有一个自变量的情况称为单变量回归大于一个自变量情况的叫做多元回归
用习惯的写法 y w1x1 w2x2 w3x3 ... wnxn b wTx b
PSwT叫做w的转置
例子 期末成绩0.7×考试成绩 0.3×平时成绩 预测房子价格 0.02×中心区域的距离 0.04×城市一氧化氮浓度 (-0.12×自住房平均房价) 0.254×城镇犯罪率
4、广义线性模型 线性回归当中的关系有两种一种是线性关系另一种是非线性关系。在这里我们只能画一个平面更好去理解所以都用单个特征举例子
1线性关系 特征只有一个房屋面积预测房屋价格在一个平面当中可以找到一条直线去拟合他们之间的关系y kx b
如果有两个特征
要拟合x1、x2和y之间的关系y w1x1 w2x2 b
如果在单特征与目标值的关系呈直线关系或者两个特征与目标值呈现平面的关系 更高维度的我们不用自己去想记住这种关系即可
2非线性关系
为什么非线性关系也叫线性模型 线性模型 自变量一次 y w1x1 w2x2 w3x3 ... wnxn b 参数一次 y w1x1 w2x1^2 w3x1^3 w4x2^3 ... b 就是w和x有一个是一次的不是多次的都可以叫线性模型 3线性关系线性模型 线性关系一定是线性模型线性模型不一定是线性关系
二、线性回归的损失和优化原理
1、目标求模型参数 模型参数能够使得预测准确
2、预测房屋价格 真实关系真实房子价格 0.02×中心区域的距离 0.04×城市一氧化氮浓度 (-0.12×自住房平均房价) 0.254×城镇犯罪率
随意假定关系预测房子价格 0.25×中心区域的距离 0.14×城市一氧化氮浓度 0.42×自住房平均房价 0.34×城镇犯罪率
当我们把特征值代入到假定的关系当中预测价格和真实价格肯定有一个误差如果我们有一种方法将这个误差不断的减少让它最终接近于0的话是不是就意味着模型参数比较准确了
3、真实值和预测值之间的差距如何去衡量 衡量的关系叫做损失函数/cost/成本函数/目标函数
目标希望找到所有真实的样本到预测的距离之和比较小可以求出比较合适的权重和偏置
4、损失函数
y1真实值 hw(x1)预测值 预测值-真实值再求个平方因为预测值有可能小于真实值 这个公式又叫最小二乘法有计算平方又希望这个损失越小越好
为什么不用绝对值 1如果不加绝对值或者平方距离是会相互抵消的这是不正确的 2加绝对值也就是平方再开根号而且绝对值求导麻烦所以直接用了平方
如何去减少这个损失使我们预测的更加准确些既然存在了这个损失我们一直说机器学习有自动学习的功能在线性回归这里更是能够体现。这里可以通过一些优化方法去优化其实是数学当中的求导功能回归的总损失
5、优化算法 正规方程和梯度下降正规方程相当于一个天才梯度下降相当于一个勤奋努力的普通人
6、正规方程用的少 通过一个矩阵运算先求特征值转置然后乘以它本身再求一个逆再乘以它的转置再乘以y直接求出w权重
理解X为特征值矩阵y为目标值矩阵。直接求到最好的结果 缺点当特征过多过复杂时求解速度太慢并且得不到结果 7、梯度下降常用 一开始随便给一组权重和偏置不断的改进、试错
第二组的w1、w0等于上一组的w1、w0减去一个数
我们通过两个图更好理解梯度下降的过程 理解α为学习速率步长需要手动指定超参数α旁边的整体表示方向坡度最陡的 沿着这个函数下降的方向找最后就能找到山谷的最低点然后更新w值 使用面对训练数据规模十分庞大的任务能够找到较好的结果
8、动态图演示
三、线性回归API
1、sklearn.linear_model.LinearRegression(fit_interceptTrue) 通过正规方程优化 fit_intercept是否计算偏置截距 查看参数 LinearRegression.coef_回归系数 LinearRegression.intercept_偏置
2、sklearn.linear_model.SGDRegressor(losssquared_loss, fit_interceptTrue, learning_rate invscaling, eta00.01) 通过梯度下降优化它支持不同的loss函数和正则化惩罚项来拟合线性回归模型 loss损失函数 losssquared_loss普通最小二乘法 fit_intercept是否计算偏置 learning_rate学习率步长指定学习率算法 constanteta eta0 optimaleta 1.0 / (alpha * (t t0)) [default] invscalingeta eta0 / pow(t, power_t)看动态图演示步长一开始很长越接近最低点越小 power_t0.25存在父类当中 对于一个常数值的学习率来说可以使用learning_rate’constant’ 并使用eta0来指定学习率 查看参数 SGDRegressor.coef_回归系数 SGDRegressor.intercept_偏置
四、波士顿房价预测
1、数据集地址 下载数据集https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data
该数据集统计了13种可能影响房价的因素和该类型房屋的均价期望构建一个基于13个因素进行房价预测的模型
2、分析流程 流程 1获取数据集 2划分数据集 3特征工程 无量纲化 - 标准化 4预估器流程 fit() -- 模型 coef_ intercept_ 5模型评估
3、代码 day03_machine_learning.py
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression, SGDRegressordef linear1():正规方程的优化方法对波士顿房价进行预测# 1、获取数据boston load_boston()# 2、划分数据集x_train,x_test, y_train, y_test train_test_split(boston.data, boston.target, random_state10)# 3、标准化transfer StandardScaler()x_train transfer.fit_transform(x_train)x_test transfer.transform(x_test)# 4、预估器estimator LinearRegression()estimator.fit(x_train, y_train)# 5、得出模型print(正规方程-权重系数为\n, estimator.coef_)print(正规方程-偏置为\n, estimator.intercept_)# 6、模型评估return Nonedef linear2():梯度下降的优化方法对波士顿房价进行预测# 1、获取数据boston load_boston()# 2、划分数据集x_train,x_test, y_train, y_test train_test_split(boston.data, boston.target, random_state10)# 3、标准化transfer StandardScaler()x_train transfer.fit_transform(x_train)x_test transfer.transform(x_test)# 4、预估器estimator SGDRegressor()estimator.fit(x_train, y_train)# 5、得出模型print(梯度下降-权重系数为\n, estimator.coef_)print(梯度下降-偏置为\n, estimator.intercept_)# 6、模型评估return Noneif __name__ __main__:# 代码1正规方程的优化方法对波士顿房价进行预测linear1()# 代码2梯度下降的优化方法对波士顿房价进行预测linear2()运行结果
正规方程-权重系数为[-1.16537843 1.38465289 -0.11434012 0.30184283 -1.80888677 2.341711660.32381052 -3.12165806 2.61116292 -2.10444862 -1.80820193 1.19593811-3.81445728]
正规方程-偏置为21.93377308707127
梯度下降-权重系数为[-1.10621345 1.29133856 -0.27846867 0.33474439 -1.69384501 2.41354660.29053621 -3.08390938 2.01002437 -1.44580391 -1.77085656 1.20016946-3.77661902]
梯度下降-偏置为[21.9475731]
五、回归的性能评估
1、均方误差(Mean Squared Error)MSE评价机制
MSE 计算模型的预测值 Ŷ 与真实值 Y 的接近程度
2、sklearn.metrics.mean_squared_error(y_true, y_pred) 均方误差回归损失 y_true真实值 y_pred预测值 return浮点数结果
3、修改day03_machine_learning.py
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression, SGDRegressor
from sklearn.metrics import mean_squared_errordef linear1():正规方程的优化方法对波士顿房价进行预测# 1、获取数据boston load_boston()# 2、划分数据集x_train,x_test, y_train, y_test train_test_split(boston.data, boston.target, random_state10)# 3、标准化transfer StandardScaler()x_train transfer.fit_transform(x_train)x_test transfer.transform(x_test)# 4、预估器estimator LinearRegression()estimator.fit(x_train, y_train)# 5、得出模型print(正规方程-权重系数为\n, estimator.coef_)print(正规方程-偏置为\n, estimator.intercept_)# 6、模型评估y_predict estimator.predict(x_test)print(预测房价\n, y_predict)error mean_squared_error(y_test, y_predict)print(正规方程-均方误差为\n, error)return Nonedef linear2():梯度下降的优化方法对波士顿房价进行预测# 1、获取数据boston load_boston()# 2、划分数据集x_train,x_test, y_train, y_test train_test_split(boston.data, boston.target, random_state10)# 3、标准化transfer StandardScaler()x_train transfer.fit_transform(x_train)x_test transfer.transform(x_test)# 4、预估器estimator SGDRegressor()estimator.fit(x_train, y_train)# 5、得出模型print(梯度下降-权重系数为\n, estimator.coef_)print(梯度下降-偏置为\n, estimator.intercept_)# 6、模型评估y_predict estimator.predict(x_test)print(预测房价\n, y_predict)error mean_squared_error(y_test, y_predict)print(梯度下降-均方误差为\n, error)return Noneif __name__ __main__:# 代码1正规方程的优化方法对波士顿房价进行预测linear1()# 代码2梯度下降的优化方法对波士顿房价进行预测linear2()运行结果
正规方程-权重系数为[-1.16537843 1.38465289 -0.11434012 0.30184283 -1.80888677 2.341711660.32381052 -3.12165806 2.61116292 -2.10444862 -1.80820193 1.19593811-3.81445728]
正规方程-偏置为21.93377308707127
预测房价[31.11439635 31.82060232 30.55620556 22.44042081 18.80398782 16.2762532236.13534369 14.62463338 24.56196194 37.27961695 21.29108382 30.6125824127.94888799 33.80697059 33.25072336 40.77177784 24.3173198 23.2977324125.50732006 21.08959787 32.79810915 17.7713081 25.36693209 25.0381105932.51925813 20.4761305 19.69609206 16.93696274 38.25660623 0.7015249932.34837791 32.21000333 25.78226319 23.95722044 20.51116476 19.537272583.87253095 34.74724529 26.92200788 27.63770031 34.47281616 29.8051127118.34867051 31.37976427 18.14935849 28.22386149 19.25418441 21.7149039538.26297011 16.44688057 24.60894426 19.48346848 24.49571194 34.4891563526.66802508 34.83940131 20.91913534 19.60460332 18.52442576 25.0017879919.86388846 23.46800342 39.56482623 42.95337289 30.34352231 16.893355923.88883179 3.33024647 31.45069577 29.07022919 18.42067822 27.4431489719.55119898 24.73011317 24.95642414 10.36029002 39.21517151 8.3074326218.44876989 30.31317974 22.97029822 21.0205003 19.99376338 28.647549730.88848414 28.14940191 26.57861905 31.48800196 22.25923033 -5.3597325221.66621648 19.87813555 25.12178903 23.51625356 19.23810222 19.046423427.32772709 21.92881244 26.69673066 23.25557504 23.99768158 19.2845825921.19223276 10.81102345 13.92128907 20.8630077 23.40446936 13.9168948428.87063386 15.44225147 15.60748235 22.23483962 26.57538077 28.6420362324.16653911 18.40152087 15.94542775 17.42324084 15.6543375 21.0413626433.21787487 30.18724256 20.92809799 13.65283665 16.19202962 29.2515560313.28333127]
正规方程-均方误差为32.44253669600673
梯度下降-权重系数为[-1.10720669 1.25231283 -0.31509564 0.34535296 -1.64340471 2.455330740.24591813 -3.00623279 1.86680194 -1.35635736 -1.75927819 1.21751662-3.75820164]
梯度下降-偏置为[21.93446341]
预测房价[30.5553054 31.9029657 30.49644841 23.21944515 18.96884856 16.1863263636.24105194 14.87804697 24.3895523 37.20352522 21.5386604 30.6095118727.65148152 33.50851129 33.21249389 40.83380512 24.46605375 22.8883214825.52501927 21.58868475 32.80656665 17.73245419 25.66824551 25.0860486432.97047549 20.30353258 19.68164294 16.91361879 38.1855976 0.2776093232.54896674 32.02576312 25.94574949 23.97039625 20.35535178 19.780879863.89351738 34.35969722 26.90276862 27.75996947 34.54094573 29.5499409618.27465483 31.39534921 18.00180158 28.4390917 19.23254806 21.5245233237.97845293 16.57097091 24.5471993 19.39657317 24.21252437 34.922785526.80416589 34.74661413 21.23727026 19.59775567 18.39910461 25.052394220.19548887 23.82772896 40.02092877 43.04844803 30.42801759 17.2069933723.93074887 3.06161671 31.11592258 29.56981815 18.4009017 27.3705844719.36967055 24.60927521 25.32075297 10.35369309 39.25900753 8.179007518.11059373 30.75396941 22.93518314 21.69853793 20.21950513 28.4923592131.07597036 28.29348444 26.43666514 31.70687029 22.21769412 -5.4580019221.63087532 19.7545147 25.08781498 23.61546397 18.84729974 19.1030671627.25447935 22.00263139 26.57769298 23.53325788 23.87869699 19.5128190521.00527045 10.1261844 14.03654344 21.12885311 23.21744834 15.1778369128.87985666 15.68906271 15.61491721 22.063714 26.98392894 28.6436898424.01307784 18.36664466 15.87301799 17.66160742 15.84512198 20.8421702733.17275758 30.60002844 21.15789543 14.11621048 16.30693791 29.1771885813.16315128]
梯度下降-均方误差为32.55418193625462
六、正规方程和梯度下降对比
1、对比
梯度下降正规方程需要选择学习率不需要需要迭代求解一次运算得出特征数量较大可以使用需要计算方程时间复杂度高O(n3)
2、选择 小规模数据 LinearRegression(不能解决拟合问题) 岭回归 大规模数据 SGDRegressor
七、梯度下降预估器优化方法-GD、SGD、SAG
1、GD 梯度下降(Gradient Descent)原始的梯度下降法需要计算所有样本的值才能够得出梯度计算量大所以后面才有会一系列的改进
2、SGD 随机梯度下降(Stochastic gradient descent)是一个优化方法。它在一次迭代时只考虑一个训练样本
SGD的优点是 高效 容易实现
SGD的缺点是 SGD需要许多超参数比如正则项参数、迭代数 SGD对于特征标准化是敏感的
3、SAG 随机平均梯度法(Stochasitc Average Gradient)由于收敛的速度太慢有人提出SAG等基于梯度下降的算法
Scikit-learnSGDRegressor、岭回归、逻辑回归等当中都会有SAG优化
参考资料通俗易懂讲解均方误差 (MSE) - haltakov - 知乎 (zhihu.com)
