工程造价管理,佛山推广seo排名,开发区二手房房价最新信息,网站建设电商回归分析
回归分析: 寻找两个或多个变量之间的函数关系(相关关系)
一元和线性 y β 0 β 1 x ε \begin{aligned} y\beta_0\beta_1x\varepsilon\\ \end{aligned} yβ0β1xε
误差项 ε \varepsilon ε是一个期望值为0的随机变量#xff0c;即 E ( ε ) 0 …回归分析
回归分析: 寻找两个或多个变量之间的函数关系(相关关系)
一元和线性 y β 0 β 1 x ε \begin{aligned} y\beta_0\beta_1x\varepsilon\\ \end{aligned} yβ0β1xε
误差项 ε \varepsilon ε是一个期望值为0的随机变量即 E ( ε ) 0 E(\varepsilon)0 E(ε)0, 对于一个给定的 x x x值, y y y的期望值为 E ( y ) β 0 β 1 x E(y)\beta_0\beta_1x E(y)β0β1x对于所有的 x x x值, ε \varepsilon ε的方差 σ 2 \sigma^2 σ2都相同误差项 ε \varepsilon ε是一个服从正态分布的随机变量且相互独立 β 1 ∑ x i y i − n x ‾ y ‾ ∑ x 2 − n x ‾ β 0 y ‾ − β 1 x ‾ \begin{aligned} \beta_1\frac{\sum x_iy_i-n\overline x\overline y}{\sum x^2-n\overline x}\\ \beta_0\overline y-\beta_1\overline x\\ \end{aligned} β1β0∑x2−nx∑xiyi−nxyy−β1x
回归显著性校验:
总离差平方和(SST): ∑ ( y i − y ‾ ) 2 \sum(y_i-\overline y)^2 ∑(yi−y)2残差平方和(SSE): ∑ ( y i − y ^ i ) 2 \sum(y_i-\hat y_i)^2 ∑(yi−y^i)2回归平方和(SSR): ∑ ( y ^ i − y ‾ ) 2 \sum(\hat y_i-\overline y)^2 ∑(y^i−y)2 S S T ∑ ( y i − y ‾ ) 2 ∑ [ ( y ^ i − y ‾ ) ( y i − y ^ i ) ] 2 ∑ ( y ^ i − y ‾ ) 2 ∑ ( y i − y ^ i ) 2 2 ∑ ( y ^ i − y ‾ ) ( y i − y ^ i ) ∑ ( y ^ i − y ‾ ) 2 ∑ ( y i − y ^ i ) 2 0 S S R S S E \begin{aligned} SST\sum(y_i-\overline y)^2\\ \sum [(\hat y_i-\overline y)(y_i-\hat y_i) ]^2\\ \sum(\hat y_i-\overline y)^2\sum(y_i-\hat y_i)^22\sum(\hat y_i-\overline y)(y_i-\hat y_i)\\ \sum(\hat y_i-\overline y)^2\sum(y_i-\hat y_i)^20\\ SSRSSE \end{aligned} SST∑(yi−y)2∑[(y^i−y)(yi−y^i)]2∑(y^i−y)2∑(yi−y^i)22∑(y^i−y)(yi−y^i)∑(y^i−y)2∑(yi−y^i)20SSRSSE
相关系数 r r r r 2 S S R S S T ∑ ( y ^ i − y ‾ ) 2 ∑ ( y i − y ‾ ) 2 1 − ∑ ( y i − y ^ ) 2 ∑ ( y i − y ‾ ) 2 r^2\frac{SSR}{SST}\frac{\sum(\hat y_i-\overline y)^2}{\sum(y_i-\overline y)^2}1-\frac{\sum(y_i-\hat y)^2}{\sum(y_i-\overline y)^2} r2SSTSSR∑(yi−y)2∑(y^i−y)21−∑(yi−y)2∑(yi−y^)2 r r r越接近于1相关性越强 r ∈ [ 0 , 1 ] r\in[0, 1] r∈[0,1] F F F检验
提出假设: 线性关系不显著计算检验统计量 F F F F S S R / 1 S S E / ( n − 2 ) ∑ ( y ^ i − y ‾ ) 2 ∑ ( y ^ i − y i ) 2 / ( n − 2 ) ∼ F ( 1 , n − 2 ) \begin{aligned} F\frac{SSR/1}{SSE/(n-2)}\frac{\sum(\hat y_i-\overline y)^2}{\sum(\hat y_i-y_i)^2/(n-2)}\sim F(1, n-2)\\ \end{aligned} FSSE/(n−2)SSR/1∑(y^i−yi)2/(n−2)∑(y^i−y)2∼F(1,n−2)
确定显著性水平 α \alpha α并根据分子自由度1和分母自由度(n-2)找出临界值 F α F_\alpha Fα作出决策: 若 F ≥ F α F\geq F_\alpha F≥Fα, 拒绝假设; 否则接受假设。(概率论与数理统计) F F F越大线性关系越显著 F F F与 r r r的关系 F ( n − 2 ) r 2 1 − r 2 F\frac{(n-2)r^2}{1-r^2}\\ F1−r2(n−2)r2
说明 F F F检验和 r r r相关系数的一致性
例题 重复测量的分析
对于同一个 x x x重复测量得到 y y y的值 离差平方和: S S S 残差平方和: Q Q Q 回归平方和: U U U 误差平方和: Q E Q_E QE 失拟平方和: Q L Q_L QL 两个变量都有误差的一元线性回归 λ \lambda λ衡量了误差偏向的方向问题: 如何通过先验信息测出 λ σ x 2 σ y 2 \lambda\frac{\sigma_x^2}{\sigma_y^2} λσy2σx2?
一元非线性
化非线性为线性问题的求解
典型的化解方法 y α e β x y α x β y x α x β y α β log x y 1 α β e − x \begin{aligned} y\alpha e^{\beta x}\\ y\alpha x^\beta\\ y\frac{x}{\alpha x\beta}\\ y\alpha\beta\log x\\ y\frac{1}{\alpha\beta e^{-x}}\\ \end{aligned} yyyyyαeβxαxβαxβxαβlogxαβe−x1 具体步骤
根据散点图确认非线性回归方程模式把非线性回归方程转换为线性回归方程依据线性回归方程进行求解再转换为非线性回归方程 观察数据是否符合某个曲线, 若符合则可以套用公式试试效果以下是常见的曲线 在实际情况下可能有多条曲线符合。这时需要将所有曲线都尝试一遍然后做显著性校验选取显著性校验最好的曲线作为结果。
多元线性 y ^ b 0 b 1 x 1 b 2 x 2 . . . b M x M 由 最小二乘法 : Q ∑ t 1 M ( y t − y ^ t ) ∑ t 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) 2 最小 { ∂ Q ∂ b 0 − 2 ∑ t 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) 0 ∂ Q ∂ b i − 2 ∑ t 1 M ( y t − b 0 − b 1 x t 1 − b 2 x t 2 − . . . − b M x t M ) 0 i 1 , 2...... M \begin{aligned} \hat y b_0b_1x_1b_2x_2...b_Mx_M\\ 由最小二乘法:\\ Q\sum_{t1}^M(y_t-\hat y_t)\sum_{t1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})^2最小\\ \begin{cases} \frac{\partial Q}{\partial b_0}-2\sum_{t1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})0\\ \frac{\partial Q}{\partial b_{i}}-2\sum_{t1}^M(y_t-b_0-b_1x_{t1}-b_2x_{t2}-...-b_Mx_{tM})0\\ i1,2......M \end{cases} \end{aligned} y^由Qb0b1x1b2x2...bMxM最小二乘法:t1∑M(yt−y^t)t1∑M(yt−b0−b1xt1−b2xt2−...−bMxtM)2最小⎩ ⎨ ⎧∂b0∂Q−2∑t1M(yt−b0−b1xt1−b2xt2−...−bMxtM)0∂bi∂Q−2∑t1M(yt−b0−b1xt1−b2xt2−...−bMxtM)0i1,2......M
矩阵形式: ( X T X ) b X T Y b A − 1 B ( X T X ) − 1 X T Y \begin{aligned} (X^TX)bX^TY\\ bA^{-1}B(X^TX)^{-1}X^TY\\ \end{aligned} (XTX)bbA−1XTYB(XTX)−1XTY 另一种方法 y ^ μ 0 b 1 ( x 1 − x ‾ 1 ) b 2 ( x 2 − x ‾ 2 ) . . . b M ( x M − x ‾ M ) A b B 其 中 : μ b 1 x ‾ 1 b 2 x ‾ 2 . . . b M x ‾ M y ‾ \begin{aligned} \hat y\mu_0b_1(x_1-\overline x_1)b_2(x_2-\overline x_2)...b_M(x_M-\overline x_M)\\ \qquad \qquad \qquad \qquad \qquad AbB\\ 其中:\mub_1\overline x_1b_2\overline x_2...b_M\overline x_M\overline { y}\\ \end{aligned} y^其μ0b1(x1−x1)b2(x2−x2)...bM(xM−xM)AbB中:μb1x1b2x2...bMxMy 要求的系数 b b b比上一种方法少一个矩阵维数由 M 1 → M M1\to M M1→M 计算量减少 F F F检验 实例 参考资料
【名校公开课-误差理论与数据处理-钱政 | 北京航空航天大学】
