路由器做映射后 内网可以访问到我的网站 但是外网无法访问,做艺术字的网站,企业注册公司流程,做免费网站有哪些前言
线性代数#xff08;linear algebra#xff09;是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究#xff0c;同时也涉及到所有的向量空间的一般性质。
本文主要介绍机器学习中所用到的线性代数核心基础概念#xff0c;供读者学习阶段查漏补缺…前言
线性代数linear algebra是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究同时也涉及到所有的向量空间的一般性质。
本文主要介绍机器学习中所用到的线性代数核心基础概念供读者学习阶段查漏补缺或是快速学习参考。
线性代数
行列式
1.行列式按行列展开定理
(1) 设 A ( a i j ) n × n A ( a_{{ij}} )_{n \times n} A(aij)n×n则 a i 1 A j 1 a i 2 A j 2 ⋯ a i n A j n { ∣ A ∣ , i j 0 , i ≠ j a_{i1}A_{j1} a_{i2}A_{j2} \cdots a_{{in}}A_{{jn}} \begin{cases}|A|,ij\\ 0,i \neq j\end{cases} ai1Aj1ai2Aj2⋯ainAjn{∣A∣,ij0,ij
或 a 1 i A 1 j a 2 i A 2 j ⋯ a n i A n j { ∣ A ∣ , i j 0 , i ≠ j a_{1i}A_{1j} a_{2i}A_{2j} \cdots a_{{ni}}A_{{nj}} \begin{cases}|A|,ij\\ 0,i \neq j\end{cases} a1iA1ja2iA2j⋯aniAnj{∣A∣,ij0,ij即 A A ∗ A ∗ A ∣ A ∣ E , AA^{*} A^{*}A \left| A \right|E, AA∗A∗A∣A∣E,其中 A ∗ ( A 11 A 12 … A 1 n A 21 A 22 … A 2 n … … … … A n 1 A n 2 … A n n ) ( A j i ) ( A i j ) T A^{*} \begin{pmatrix} A_{11} A_{12} \ldots A_{1n} \\ A_{21} A_{22} \ldots A_{2n} \\ \ldots \ldots \ldots \ldots \\ A_{n1} A_{n2} \ldots A_{{nn}} \\ \end{pmatrix} (A_{{ji}}) {(A_{{ij}})}^{T} A∗ A11A21…An1A12A22…An2…………A1nA2n…Ann (Aji)(Aij)T D n ∣ 1 1 … 1 x 1 x 2 … x n … … … … x 1 n − 1 x 2 n − 1 … x n n − 1 ∣ ∏ 1 ≤ j i ≤ n ( x i − x j ) D_{n} \begin{vmatrix} 1 1 \ldots 1 \\ x_{1} x_{2} \ldots x_{n} \\ \ldots \ldots \ldots \ldots \\ x_{1}^{n - 1} x_{2}^{n - 1} \ldots x_{n}^{n - 1} \\ \end{vmatrix} \prod_{1 \leq j i \leq n}^{}\,(x_{i} - x_{j}) Dn 1x1…x1n−11x2…x2n−1…………1xn…xnn−1 ∏1≤ji≤n(xi−xj)
(2) 设 A , B A,B A,B为 n n n阶方阵则 ∣ A B ∣ ∣ A ∣ ∣ B ∣ ∣ B ∣ ∣ A ∣ ∣ B A ∣ \left| {AB} \right| \left| A \right|\left| B \right| \left| B \right|\left| A \right| \left| {BA} \right| ∣AB∣∣A∣∣B∣∣B∣∣A∣∣BA∣但 ∣ A ± B ∣ ∣ A ∣ ± ∣ B ∣ \left| A \pm B \right| \left| A \right| \pm \left| B \right| ∣A±B∣∣A∣±∣B∣不一定成立。
(3) ∣ k A ∣ k n ∣ A ∣ \left| {kA} \right| k^{n}\left| A \right| ∣kA∣kn∣A∣, A A A为 n n n阶方阵。
(4) 设 A A A为 n n n阶方阵 ∣ A T ∣ ∣ A ∣ ; ∣ A − 1 ∣ ∣ A ∣ − 1 |A^{T}| |A|;|A^{- 1}| |A|^{- 1} ∣AT∣∣A∣;∣A−1∣∣A∣−1若 A A A可逆 ∣ A ∗ ∣ ∣ A ∣ n − 1 |A^{*}| |A|^{n - 1} ∣A∗∣∣A∣n−1 n ≥ 2 n \geq 2 n≥2
(5) ∣ A O O B ∣ ∣ A C O B ∣ ∣ A O C B ∣ ∣ A ∣ ∣ B ∣ \left| \begin{matrix} {A\quad O} \\ {O\quad B} \\ \end{matrix} \right| \left| \begin{matrix} {A\quad C} \\ {O\quad B} \\ \end{matrix} \right| \left| \begin{matrix} {A\quad O} \\ {C\quad B} \\ \end{matrix} \right| | A||B| AOOB ACOB AOCB ∣A∣∣B∣ A , B A,B A,B为方阵但 ∣ O A m × m B n × n O ∣ ( − 1 ) m n ∣ A ∣ ∣ B ∣ \left| \begin{matrix} {O} A_{m \times m} \\ B_{n \times n} { O} \\ \end{matrix} \right| ({- 1)}^{{mn}}|A||B| OBn×nAm×mO (−1)mn∣A∣∣B∣ 。
(6) 范德蒙行列式 D n ∣ 1 1 … 1 x 1 x 2 … x n … … … … x 1 n − 1 x 2 n 1 … x n n − 1 ∣ ∏ 1 ≤ j i ≤ n ( x i − x j ) D_{n} \begin{vmatrix} 1 1 \ldots 1 \\ x_{1} x_{2} \ldots x_{n} \\ \ldots \ldots \ldots \ldots \\ x_{1}^{n - 1} x_{2}^{n 1} \ldots x_{n}^{n - 1} \\ \end{vmatrix} \prod_{1 \leq j i \leq n}^{}\,(x_{i} - x_{j}) Dn 1x1…x1n−11x2…x2n1…………1xn…xnn−1 ∏1≤ji≤n(xi−xj)
设 A A A是 n n n阶方阵 λ i ( i 1 , 2 ⋯ , n ) \lambda_{i}(i 1,2\cdots,n) λi(i1,2⋯,n)是 A A A的 n n n个特征值则 ∣ A ∣ ∏ i 1 n λ i |A| \prod_{i 1}^{n}\lambda_{i} ∣A∣∏i1nλi
矩阵
矩阵 m × n m \times n m×n个数 a i j a_{{ij}} aij排成 m m m行 n n n列的表格 [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ ⋯ a m 1 a m 2 ⋯ a m n ] \begin{bmatrix} a_{11}\quad a_{12}\quad\cdots\quad a_{1n} \\ a_{21}\quad a_{22}\quad\cdots\quad a_{2n} \\ \quad\cdots\cdots\cdots\cdots\cdots \\ a_{m1}\quad a_{m2}\quad\cdots\quad a_{{mn}} \\ \end{bmatrix} a11a12⋯a1na21a22⋯a2n⋯⋯⋯⋯⋯am1am2⋯amn 称为矩阵简记为 A A A或者 ( a i j ) m × n \left( a_{{ij}} \right)_{m \times n} (aij)m×n 。若 m n m n mn则称 A A A是 n n n阶矩阵或 n n n阶方阵。
矩阵的线性运算
1.矩阵的加法
设 A ( a i j ) , B ( b i j ) A (a_{{ij}}),B (b_{{ij}}) A(aij),B(bij)是两个 m × n m \times n m×n矩阵则 m × n m \times n m×n 矩阵 C c i j ) a i j b i j C c_{{ij}}) a_{{ij}} b_{{ij}} Ccij)aijbij称为矩阵 A A A与 B B B的和记为 A B C A B C ABC 。
2.矩阵的数乘
设 A ( a i j ) A (a_{{ij}}) A(aij)是 m × n m \times n m×n矩阵 k k k是一个常数则 m × n m \times n m×n矩阵 ( k a i j ) (ka_{{ij}}) (kaij)称为数 k k k与矩阵 A A A的数乘记为 k A {kA} kA。
3.矩阵的乘法
设 A ( a i j ) A (a_{{ij}}) A(aij)是 m × n m \times n m×n矩阵 B ( b i j ) B (b_{{ij}}) B(bij)是 n × s n \times s n×s矩阵那么 m × s m \times s m×s矩阵 C ( c i j ) C (c_{{ij}}) C(cij)其中 c i j a i 1 b 1 j a i 2 b 2 j ⋯ a i n b n j ∑ k 1 n a i k b k j c_{{ij}} a_{i1}b_{1j} a_{i2}b_{2j} \cdots a_{{in}}b_{{nj}} \sum_{k 1}^{n}{a_{{ik}}b_{{kj}}} cijai1b1jai2b2j⋯ainbnj∑k1naikbkj称为 A B {AB} AB的乘积记为 C A B C AB CAB 。
4. A T \mathbf{A}^{\mathbf{T}} AT、 A − 1 \mathbf{A}^{\mathbf{-1}} A−1、 A ∗ \mathbf{A}^{\mathbf{*}} A∗三者之间的关系
(1) ( A T ) T A , ( A B ) T B T A T , ( k A ) T k A T , ( A ± B ) T A T ± B T {(A^{T})}^{T} A,{(AB)}^{T} B^{T}A^{T},{(kA)}^{T} kA^{T},{(A \pm B)}^{T} A^{T} \pm B^{T} (AT)TA,(AB)TBTAT,(kA)TkAT,(A±B)TAT±BT
(2) ( A − 1 ) − 1 A , ( A B ) − 1 B − 1 A − 1 , ( k A ) − 1 1 k A − 1 , \left( A^{- 1} \right)^{- 1} A,\left( {AB} \right)^{- 1} B^{- 1}A^{- 1},\left( {kA} \right)^{- 1} \frac{1}{k}A^{- 1}, (A−1)−1A,(AB)−1B−1A−1,(kA)−1k1A−1,
但 ( A ± B ) − 1 A − 1 ± B − 1 {(A \pm B)}^{- 1} A^{- 1} \pm B^{- 1} (A±B)−1A−1±B−1不一定成立。
(3) ( A ∗ ) ∗ ∣ A ∣ n − 2 A ( n ≥ 3 ) \left( A^{*} \right)^{*} |A|^{n - 2}\ A\ \ (n \geq 3) (A∗)∗∣A∣n−2 A (n≥3) ( A B ) ∗ B ∗ A ∗ , \left({AB} \right)^{*} B^{*}A^{*}, (AB)∗B∗A∗, ( k A ) ∗ k n − 1 A ∗ ( n ≥ 2 ) \left( {kA} \right)^{*} k^{n -1}A^{*}{\ \ }\left( n \geq 2 \right) (kA)∗kn−1A∗ (n≥2)
但 ( A ± B ) ∗ A ∗ ± B ∗ \left( A \pm B \right)^{*} A^{*} \pm B^{*} (A±B)∗A∗±B∗不一定成立。
(4) ( A − 1 ) T ( A T ) − 1 , ( A − 1 ) ∗ ( A A ∗ ) − 1 , ( A ∗ ) T ( A T ) ∗ {(A^{- 1})}^{T} {(A^{T})}^{- 1},\ \left( A^{- 1} \right)^{*} {(AA^{*})}^{- 1},{(A^{*})}^{T} \left( A^{T} \right)^{*} (A−1)T(AT)−1, (A−1)∗(AA∗)−1,(A∗)T(AT)∗
5.有关 A ∗ \mathbf{A}^{\mathbf{*}} A∗的结论
(1) A A ∗ A ∗ A ∣ A ∣ E AA^{*} A^{*}A |A|E AA∗A∗A∣A∣E
(2) ∣ A ∗ ∣ ∣ A ∣ n − 1 ( n ≥ 2 ) , ( k A ) ∗ k n − 1 A ∗ , ( A ∗ ) ∗ ∣ A ∣ n − 2 A ( n ≥ 3 ) |A^{*}| |A|^{n - 1}\ (n \geq 2),\ \ \ \ {(kA)}^{*} k^{n -1}A^{*},{{\ \ }\left( A^{*} \right)}^{*} |A|^{n - 2}A(n \geq 3) ∣A∗∣∣A∣n−1 (n≥2), (kA)∗kn−1A∗, (A∗)∗∣A∣n−2A(n≥3)
(3) 若 A A A可逆则 A ∗ ∣ A ∣ A − 1 , ( A ∗ ) ∗ 1 ∣ A ∣ A A^{*} |A|A^{- 1},{(A^{*})}^{*} \frac{1}{|A|}A A∗∣A∣A−1,(A∗)∗∣A∣1A
(4) 若 A A A为 n n n阶方阵则 r ( A ∗ ) { n , r ( A ) n 1 , r ( A ) n − 1 0 , r ( A ) n − 1 r(A^*)\begin{cases}n,\quad r(A)n\\ 1,\quad r(A)n-1\\ 0,\quad r(A)n-1\end{cases} r(A∗)⎩ ⎨ ⎧n,r(A)n1,r(A)n−10,r(A)n−1
6.有关 A − 1 \mathbf{A}^{\mathbf{- 1}} A−1的结论 A A A可逆 ⇔ A B E ; ⇔ ∣ A ∣ ≠ 0 ; ⇔ r ( A ) n ; \Leftrightarrow AB E; \Leftrightarrow |A| \neq 0; \Leftrightarrow r(A) n; ⇔ABE;⇔∣A∣0;⇔r(A)n; ⇔ A \Leftrightarrow A ⇔A可以表示为初等矩阵的乘积 ⇔ A ; ⇔ A x 0 \Leftrightarrow A;\Leftrightarrow Ax 0 ⇔A;⇔Ax0。
7.有关矩阵秩的结论
(1) 秩 r ( A ) r(A) r(A)行秩列秩
(2) r ( A m × n ) ≤ min ( m , n ) ; r(A_{m \times n}) \leq \min(m,n); r(Am×n)≤min(m,n);
(3) A ≠ 0 ⇒ r ( A ) ≥ 1 A \neq 0 \Rightarrow r(A) \geq 1 A0⇒r(A)≥1
(4) r ( A ± B ) ≤ r ( A ) r ( B ) ; r(A \pm B) \leq r(A) r(B); r(A±B)≤r(A)r(B);
(5) 初等变换不改变矩阵的秩
(6) r ( A ) r ( B ) − n ≤ r ( A B ) ≤ min ( r ( A ) , r ( B ) ) , r(A) r(B) - n \leq r(AB) \leq \min(r(A),r(B)), r(A)r(B)−n≤r(AB)≤min(r(A),r(B)),特别若 A B O AB O ABO 则 r ( A ) r ( B ) ≤ n r(A) r(B) \leq n r(A)r(B)≤n
(7) 若 A − 1 A^{- 1} A−1存在 ⇒ r ( A B ) r ( B ) ; \Rightarrow r(AB) r(B); ⇒r(AB)r(B); 若 B − 1 B^{- 1} B−1存在 ⇒ r ( A B ) r ( A ) ; \Rightarrow r(AB) r(A); ⇒r(AB)r(A);
若 r ( A m × n ) n ⇒ r ( A B ) r ( B ) ; r(A_{m \times n}) n \Rightarrow r(AB) r(B); r(Am×n)n⇒r(AB)r(B); 若 r ( A m × s ) n ⇒ r ( A B ) r ( A ) r(A_{m \times s}) n\Rightarrow r(AB) r\left( A \right) r(Am×s)n⇒r(AB)r(A)。
(8) r ( A m × s ) n ⇔ A x 0 r(A_{m \times s}) n \Leftrightarrow Ax 0 r(Am×s)n⇔Ax0只有零解
8.分块求逆公式 ( A O O B ) − 1 ( A − 1 O O B − 1 ) \begin{pmatrix} A O \\ O B \\ \end{pmatrix}^{- 1} \begin{pmatrix} A^{-1} O \\ O B^{- 1} \\ \end{pmatrix} (AOOB)−1(A−1OOB−1) ( A C O B ) − 1 ( A − 1 − A − 1 C B − 1 O B − 1 ) \begin{pmatrix} A C \\ O B \\\end{pmatrix}^{- 1} \begin{pmatrix} A^{- 1} - A^{- 1}CB^{- 1} \\ O B^{- 1} \\ \end{pmatrix} (AOCB)−1(A−1O−A−1CB−1B−1) ( A O C B ) − 1 ( A − 1 O − B − 1 C A − 1 B − 1 ) \begin{pmatrix} A O \\ C B \\ \end{pmatrix}^{- 1} \begin{pmatrix} A^{- 1}{O} \\ - B^{- 1}CA^{- 1} B^{- 1} \\\end{pmatrix} (ACOB)−1(A−1−B−1CA−1OB−1) ( O A B O ) − 1 ( O B − 1 A − 1 O ) \begin{pmatrix} O A \\ B O \\ \end{pmatrix}^{- 1} \begin{pmatrix} O B^{- 1} \\ A^{- 1} O \\ \end{pmatrix} (OBAO)−1(OA−1B−1O)
这里 A A A B B B均为可逆方阵。
向量
1.有关向量组的线性表示
(1) α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性相关 ⇔ \Leftrightarrow ⇔至少有一个向量可以用其余向量线性表示。
(2) α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性无关 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs β \beta β线性相关 ⇔ β \Leftrightarrow \beta ⇔β可以由 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs唯一线性表示。
(3) β \beta β可以由 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性表示 ⇔ r ( α 1 , α 2 , ⋯ , α s ) r ( α 1 , α 2 , ⋯ , α s , β ) \Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta) ⇔r(α1,α2,⋯,αs)r(α1,α2,⋯,αs,β) 。
2.有关向量组的线性相关性
(1)部分相关整体相关整体无关部分无关.
(2) ① n n n个 n n n维向量 α 1 , α 2 ⋯ α n \alpha_{1},\alpha_{2}\cdots\alpha_{n} α1,α2⋯αn线性无关 ⇔ ∣ [ α 1 α 2 ⋯ α n ] ∣ ≠ 0 \Leftrightarrow \left|\left\lbrack \alpha_{1}\alpha_{2}\cdots\alpha_{n} \right\rbrack \right| \neq0 ⇔∣[α1α2⋯αn]∣0 n n n个 n n n维向量 α 1 , α 2 ⋯ α n \alpha_{1},\alpha_{2}\cdots\alpha_{n} α1,α2⋯αn线性相关 ⇔ ∣ [ α 1 , α 2 , ⋯ , α n ] ∣ 0 \Leftrightarrow |\lbrack\alpha_{1},\alpha_{2},\cdots,\alpha_{n}\rbrack| 0 ⇔∣[α1,α2,⋯,αn]∣0 。
② n 1 n 1 n1个 n n n维向量线性相关。
③ 若 α 1 , α 2 ⋯ α S \alpha_{1},\alpha_{2}\cdots\alpha_{S} α1,α2⋯αS线性无关则添加分量后仍线性无关或一组向量线性相关去掉某些分量后仍线性相关。
3.有关向量组的线性表示
(1) α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性相关 ⇔ \Leftrightarrow ⇔至少有一个向量可以用其余向量线性表示。
(2) α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性无关 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs β \beta β线性相关 ⇔ β \Leftrightarrow\beta ⇔β 可以由 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs唯一线性表示。
(3) β \beta β可以由 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性表示 ⇔ r ( α 1 , α 2 , ⋯ , α s ) r ( α 1 , α 2 , ⋯ , α s , β ) \Leftrightarrow r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s}) r(\alpha_{1},\alpha_{2},\cdots,\alpha_{s},\beta) ⇔r(α1,α2,⋯,αs)r(α1,α2,⋯,αs,β)
4.向量组的秩与矩阵的秩之间的关系
设 r ( A m × n ) r r(A_{m \times n}) r r(Am×n)r则 A A A的秩 r ( A ) r(A) r(A)与 A A A的行列向量组的线性相关性关系为
(1) 若 r ( A m × n ) r m r(A_{m \times n}) r m r(Am×n)rm则 A A A的行向量组线性无关。
(2) 若 r ( A m × n ) r m r(A_{m \times n}) r m r(Am×n)rm则 A A A的行向量组线性相关。
(3) 若 r ( A m × n ) r n r(A_{m \times n}) r n r(Am×n)rn则 A A A的列向量组线性无关。
(4) 若 r ( A m × n ) r n r(A_{m \times n}) r n r(Am×n)rn则 A A A的列向量组线性相关。
5. n \mathbf{n} n维向量空间的基变换公式及过渡矩阵
若 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn与 β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1,β2,⋯,βn是向量空间 V V V的两组基则基变换公式为 ( β 1 , β 2 , ⋯ , β n ) ( α 1 , α 2 , ⋯ , α n ) [ c 11 c 12 ⋯ c 1 n c 21 c 22 ⋯ c 2 n ⋯ ⋯ ⋯ ⋯ c n 1 c n 2 ⋯ c n n ] ( α 1 , α 2 , ⋯ , α n ) C (\beta_{1},\beta_{2},\cdots,\beta_{n}) (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})\begin{bmatrix} c_{11} c_{12} \cdots c_{1n} \\ c_{21} c_{22}\cdots c_{2n} \\ \cdots \cdots \cdots \cdots \\ c_{n1} c_{n2} \cdots c_{{nn}} \\\end{bmatrix} (\alpha_{1},\alpha_{2},\cdots,\alpha_{n})C (β1,β2,⋯,βn)(α1,α2,⋯,αn) c11c21⋯cn1c12c22⋯cn2⋯⋯⋯⋯c1nc2n⋯cnn (α1,α2,⋯,αn)C
其中 C C C是可逆矩阵称为由基 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn到基 β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1,β2,⋯,βn的过渡矩阵。
6.坐标变换公式
若向量 γ \gamma γ在基 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn与基 β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1,β2,⋯,βn的坐标分别是 X ( x 1 , x 2 , ⋯ , x n ) T X {(x_{1},x_{2},\cdots,x_{n})}^{T} X(x1,x2,⋯,xn)T Y ( y 1 , y 2 , ⋯ , y n ) T Y \left( y_{1},y_{2},\cdots,y_{n} \right)^{T} Y(y1,y2,⋯,yn)T 即 γ x 1 α 1 x 2 α 2 ⋯ x n α n y 1 β 1 y 2 β 2 ⋯ y n β n \gamma x_{1}\alpha_{1} x_{2}\alpha_{2} \cdots x_{n}\alpha_{n} y_{1}\beta_{1} y_{2}\beta_{2} \cdots y_{n}\beta_{n} γx1α1x2α2⋯xnαny1β1y2β2⋯ynβn则向量坐标变换公式为 X C Y X CY XCY 或 Y C − 1 X Y C^{- 1}X YC−1X其中 C C C是从基 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn到基 β 1 , β 2 , ⋯ , β n \beta_{1},\beta_{2},\cdots,\beta_{n} β1,β2,⋯,βn的过渡矩阵。
7.向量的内积 ( α , β ) a 1 b 1 a 2 b 2 ⋯ a n b n α T β β T α (\alpha,\beta) a_{1}b_{1} a_{2}b_{2} \cdots a_{n}b_{n} \alpha^{T}\beta \beta^{T}\alpha (α,β)a1b1a2b2⋯anbnαTββTα
8.Schmidt 正交化
若 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs线性无关则可构造 β 1 , β 2 , ⋯ , β s \beta_{1},\beta_{2},\cdots,\beta_{s} β1,β2,⋯,βs使其两两正交且 β i \beta_{i} βi仅是 α 1 , α 2 , ⋯ , α i \alpha_{1},\alpha_{2},\cdots,\alpha_{i} α1,α2,⋯,αi的线性组合 ( i 1 , 2 , ⋯ , n ) (i 1,2,\cdots,n) (i1,2,⋯,n)再把 β i \beta_{i} βi单位化记 γ i β i ∣ β i ∣ \gamma_{i} \frac{\beta_{i}}{\left| \beta_{i}\right|} γi∣βi∣βi则 γ 1 , γ 2 , ⋯ , γ i \gamma_{1},\gamma_{2},\cdots,\gamma_{i} γ1,γ2,⋯,γi是规范正交向量组。其中 β 1 α 1 \beta_{1} \alpha_{1} β1α1 β 2 α 2 − ( α 2 , β 1 ) ( β 1 , β 1 ) β 1 \beta_{2} \alpha_{2} -\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} β2α2−(β1,β1)(α2,β1)β1 β 3 α 3 − ( α 3 , β 1 ) ( β 1 , β 1 ) β 1 − ( α 3 , β 2 ) ( β 2 , β 2 ) β 2 \beta_{3} \alpha_{3} - \frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} -\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2} β3α3−(β1,β1)(α3,β1)β1−(β2,β2)(α3,β2)β2
… β s α s − ( α s , β 1 ) ( β 1 , β 1 ) β 1 − ( α s , β 2 ) ( β 2 , β 2 ) β 2 − ⋯ − ( α s , β s − 1 ) ( β s − 1 , β s − 1 ) β s − 1 \beta_{s} \alpha_{s} - \frac{(\alpha_{s},\beta_{1})}{(\beta_{1},\beta_{1})}\beta_{1} - \frac{(\alpha_{s},\beta_{2})}{(\beta_{2},\beta_{2})}\beta_{2} - \cdots - \frac{(\alpha_{s},\beta_{s - 1})}{(\beta_{s - 1},\beta_{s - 1})}\beta_{s - 1} βsαs−(β1,β1)(αs,β1)β1−(β2,β2)(αs,β2)β2−⋯−(βs−1,βs−1)(αs,βs−1)βs−1
9.正交基及规范正交基
向量空间一组基中的向量如果两两正交就称为正交基若正交基中每个向量都是单位向量就称其为规范正交基。
线性方程组
1克莱姆法则
线性方程组 { a 11 x 1 a 12 x 2 ⋯ a 1 n x n b 1 a 21 x 1 a 22 x 2 ⋯ a 2 n x n b 2 ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ a n 1 x 1 a n 2 x 2 ⋯ a n n x n b n \begin{cases} a_{11}x_{1} a_{12}x_{2} \cdots a_{1n}x_{n} b_{1} \\ a_{21}x_{1} a_{22}x_{2} \cdots a_{2n}x_{n} b_{2} \\ \quad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots \\ a_{n1}x_{1} a_{n2}x_{2} \cdots a_{{nn}}x_{n} b_{n} \\ \end{cases} ⎩ ⎨ ⎧a11x1a12x2⋯a1nxnb1a21x1a22x2⋯a2nxnb2⋯⋯⋯⋯⋯⋯⋯⋯⋯an1x1an2x2⋯annxnbn如果系数行列式 D ∣ A ∣ ≠ 0 D \left| A \right| \neq 0 D∣A∣0则方程组有唯一解 x 1 D 1 D , x 2 D 2 D , ⋯ , x n D n D x_{1} \frac{D_{1}}{D},x_{2} \frac{D_{2}}{D},\cdots,x_{n} \frac{D_{n}}{D} x1DD1,x2DD2,⋯,xnDDn其中 D j D_{j} Dj是把 D D D中第 j j j列元素换成方程组右端的常数列所得的行列式。
2. n n n阶矩阵 A A A可逆 ⇔ A x 0 \Leftrightarrow Ax 0 ⇔Ax0只有零解。 ⇔ ∀ b , A x b \Leftrightarrow\forall b,Ax b ⇔∀b,Axb总有唯一解一般地 r ( A m × n ) n ⇔ A x 0 r(A_{m \times n}) n \Leftrightarrow Ax 0 r(Am×n)n⇔Ax0只有零解。
3.非奇次线性方程组有解的充分必要条件线性方程组解的性质和解的结构
(1) 设 A A A为 m × n m \times n m×n矩阵若 r ( A m × n ) m r(A_{m \times n}) m r(Am×n)m则对 A x b Ax b Axb而言必有 r ( A ) r ( A ⋮ b ) m r(A) r(A \vdots b) m r(A)r(A⋮b)m从而 A x b Ax b Axb有解。
(2) 设 x 1 , x 2 , ⋯ x s x_{1},x_{2},\cdots x_{s} x1,x2,⋯xs为 A x b Ax b Axb的解则 k 1 x 1 k 2 x 2 ⋯ k s x s k_{1}x_{1} k_{2}x_{2}\cdots k_{s}x_{s} k1x1k2x2⋯ksxs当 k 1 k 2 ⋯ k s 1 k_{1} k_{2} \cdots k_{s} 1 k1k2⋯ks1时仍为 A x b Ax b Axb的解但当 k 1 k 2 ⋯ k s 0 k_{1} k_{2} \cdots k_{s} 0 k1k2⋯ks0时则为 A x 0 Ax 0 Ax0的解。特别 x 1 x 2 2 \frac{x_{1} x_{2}}{2} 2x1x2为 A x b Ax b Axb的解 2 x 3 − ( x 1 x 2 ) 2x_{3} - (x_{1} x_{2}) 2x3−(x1x2)为 A x 0 Ax 0 Ax0的解。
(3) 非齐次线性方程组 A x b {Ax} b Axb无解 ⇔ r ( A ) 1 r ( A ‾ ) ⇔ b \Leftrightarrow r(A) 1 r(\overline{A}) \Leftrightarrow b ⇔r(A)1r(A)⇔b不能由 A A A的列向量 α 1 , α 2 , ⋯ , α n \alpha_{1},\alpha_{2},\cdots,\alpha_{n} α1,α2,⋯,αn线性表示。
4.奇次线性方程组的基础解系和通解解空间非奇次线性方程组的通解
(1) 齐次方程组 A x 0 {Ax} 0 Ax0恒有解(必有零解)。当有非零解时由于解向量的任意线性组合仍是该齐次方程组的解向量因此 A x 0 {Ax} 0 Ax0的全体解向量构成一个向量空间称为该方程组的解空间解空间的维数是 n − r ( A ) n - r(A) n−r(A)解空间的一组基称为齐次方程组的基础解系。
(2) η 1 , η 2 , ⋯ , η t \eta_{1},\eta_{2},\cdots,\eta_{t} η1,η2,⋯,ηt是 A x 0 {Ax} 0 Ax0的基础解系即 η 1 , η 2 , ⋯ , η t \eta_{1},\eta_{2},\cdots,\eta_{t} η1,η2,⋯,ηt是 A x 0 {Ax} 0 Ax0的解 η 1 , η 2 , ⋯ , η t \eta_{1},\eta_{2},\cdots,\eta_{t} η1,η2,⋯,ηt线性无关 A x 0 {Ax} 0 Ax0的任一解都可以由 η 1 , η 2 , ⋯ , η t \eta_{1},\eta_{2},\cdots,\eta_{t} η1,η2,⋯,ηt线性表出. k 1 η 1 k 2 η 2 ⋯ k t η t k_{1}\eta_{1} k_{2}\eta_{2} \cdots k_{t}\eta_{t} k1η1k2η2⋯ktηt是 A x 0 {Ax} 0 Ax0的通解其中 k 1 , k 2 , ⋯ , k t k_{1},k_{2},\cdots,k_{t} k1,k2,⋯,kt是任意常数。
矩阵的特征值和特征向量
1.矩阵的特征值和特征向量的概念及性质
(1) 设 λ \lambda λ是 A A A的一个特征值则 k A , a A b E , A 2 , A m , f ( A ) , A T , A − 1 , A ∗ {kA},{aA} {bE},A^{2},A^{m},f(A),A^{T},A^{- 1},A^{*} kA,aAbE,A2,Am,f(A),AT,A−1,A∗有一个特征值分别为 k λ , a λ b , λ 2 , λ m , f ( λ ) , λ , λ − 1 , ∣ A ∣ λ , {kλ},{aλ} b,\lambda^{2},\lambda^{m},f(\lambda),\lambda,\lambda^{- 1},\frac{|A|}{\lambda}, kλ,aλb,λ2,λm,f(λ),λ,λ−1,λ∣A∣,且对应特征向量相同 A T A^{T} AT 例外。
(2)若 λ 1 , λ 2 , ⋯ , λ n \lambda_{1},\lambda_{2},\cdots,\lambda_{n} λ1,λ2,⋯,λn为 A A A的 n n n个特征值则 ∑ i 1 n λ i ∑ i 1 n a i i , ∏ i 1 n λ i ∣ A ∣ \sum_{i 1}^{n}\lambda_{i} \sum_{i 1}^{n}a_{{ii}},\prod_{i 1}^{n}\lambda_{i} |A| ∑i1nλi∑i1naii,∏i1nλi∣A∣ ,从而 ∣ A ∣ ≠ 0 ⇔ A |A| \neq 0 \Leftrightarrow A ∣A∣0⇔A没有特征值。
(3)设 λ 1 , λ 2 , ⋯ , λ s \lambda_{1},\lambda_{2},\cdots,\lambda_{s} λ1,λ2,⋯,λs为 A A A的 s s s个特征值对应特征向量为 α 1 , α 2 , ⋯ , α s \alpha_{1},\alpha_{2},\cdots,\alpha_{s} α1,α2,⋯,αs
若: α k 1 α 1 k 2 α 2 ⋯ k s α s \alpha k_{1}\alpha_{1} k_{2}\alpha_{2} \cdots k_{s}\alpha_{s} αk1α1k2α2⋯ksαs ,
则: A n α k 1 A n α 1 k 2 A n α 2 ⋯ k s A n α s k 1 λ 1 n α 1 k 2 λ 2 n α 2 ⋯ k s λ s n α s A^{n}\alpha k_{1}A^{n}\alpha_{1} k_{2}A^{n}\alpha_{2} \cdots k_{s}A^{n}\alpha_{s} k_{1}\lambda_{1}^{n}\alpha_{1} k_{2}\lambda_{2}^{n}\alpha_{2} \cdots k_{s}\lambda_{s}^{n}\alpha_{s} Anαk1Anα1k2Anα2⋯ksAnαsk1λ1nα1k2λ2nα2⋯ksλsnαs 。
2.相似变换、相似矩阵的概念及性质
(1) 若 A ∼ B A \sim B A∼B则 A T ∼ B T , A − 1 ∼ B − 1 , , A ∗ ∼ B ∗ A^{T} \sim B^{T},A^{- 1} \sim B^{- 1},,A^{*} \sim B^{*} AT∼BT,A−1∼B−1,,A∗∼B∗ ∣ A ∣ ∣ B ∣ , ∑ i 1 n A i i ∑ i 1 n b i i , r ( A ) r ( B ) |A| |B|,\sum_{i 1}^{n}A_{{ii}} \sum_{i 1}^{n}b_{{ii}},r(A) r(B) ∣A∣∣B∣,∑i1nAii∑i1nbii,r(A)r(B) ∣ λ E − A ∣ ∣ λ E − B ∣ |\lambda E - A| |\lambda E - B| ∣λE−A∣∣λE−B∣对 ∀ λ \forall\lambda ∀λ成立
3.矩阵可相似对角化的充分必要条件
(1)设 A A A为 n n n阶方阵则 A A A可对角化 ⇔ \Leftrightarrow ⇔对每个 k i k_{i} ki重根特征值 λ i \lambda_{i} λi有 n − r ( λ i E − A ) k i n-r(\lambda_{i}E - A) k_{i} n−r(λiE−A)ki
(2) 设 A A A可对角化则由 P − 1 A P Λ , P^{- 1}{AP} \Lambda, P−1APΛ,有 A P Λ P − 1 A {PΛ}P^{-1} APΛP−1从而 A n P Λ n P − 1 A^{n} P\Lambda^{n}P^{- 1} AnPΛnP−1
(3) 重要结论 若 A ∼ B , C ∼ D A \sim B,C \sim D A∼B,C∼D则 [ A O O C ] ∼ [ B O O D ] \begin{bmatrix} A O \\ O C \\\end{bmatrix} \sim \begin{bmatrix} B O \\ O D \\\end{bmatrix} [AOOC]∼[BOOD]. 若 A ∼ B A \sim B A∼B则 f ( A ) ∼ f ( B ) , ∣ f ( A ) ∣ ∼ ∣ f ( B ) ∣ f(A) \sim f(B),\left| f(A) \right| \sim \left| f(B)\right| f(A)∼f(B),∣f(A)∣∼∣f(B)∣其中 f ( A ) f(A) f(A)为关于 n n n阶方阵 A A A的多项式。 若 A A A为可对角化矩阵则其非零特征值的个数(重根重复计算)秩( A A A)
4.实对称矩阵的特征值、特征向量及相似对角阵
(1)相似矩阵设 A , B A,B A,B为两个 n n n阶方阵如果存在一个可逆矩阵 P P P使得 B P − 1 A P B P^{- 1}{AP} BP−1AP成立则称矩阵 A A A与 B B B相似记为 A ∼ B A \sim B A∼B。
(2)相似矩阵的性质如果 A ∼ B A \sim B A∼B则有 A T ∼ B T A^{T} \sim B^{T} AT∼BT A − 1 ∼ B − 1 A^{- 1} \sim B^{- 1} A−1∼B−1 若 A A A B B B均可逆 A k ∼ B k A^{k} \sim B^{k} Ak∼Bk k k k为正整数 ∣ λ E − A ∣ ∣ λ E − B ∣ \left| {λE} - A \right| \left| {λE} - B \right| ∣λE−A∣∣λE−B∣从而 A , B A,B A,B 有相同的特征值 ∣ A ∣ ∣ B ∣ \left| A \right| \left| B \right| ∣A∣∣B∣从而 A , B A,B A,B同时可逆或者不可逆 秩 ( A ) \left( A \right) (A)秩 ( B ) , ∣ λ E − A ∣ ∣ λ E − B ∣ \left( B \right),\left| {λE} - A \right| \left| {λE} - B \right| (B),∣λE−A∣∣λE−B∣ A , B A,B A,B不一定相似
二次型
1. n \mathbf{n} n个变量 x 1 , x 2 , ⋯ , x n \mathbf{x}_{\mathbf{1}}\mathbf{,}\mathbf{x}_{\mathbf{2}}\mathbf{,\cdots,}\mathbf{x}_{\mathbf{n}} x1,x2,⋯,xn的二次齐次函数 f ( x 1 , x 2 , ⋯ , x n ) ∑ i 1 n ∑ j 1 n a i j x i y j f(x_{1},x_{2},\cdots,x_{n}) \sum_{i 1}^{n}{\sum_{j 1}^{n}{a_{{ij}}x_{i}y_{j}}} f(x1,x2,⋯,xn)∑i1n∑j1naijxiyj其中 a i j a j i ( i , j 1 , 2 , ⋯ , n ) a_{{ij}} a_{{ji}}(i,j 1,2,\cdots,n) aijaji(i,j1,2,⋯,n)称为 n n n元二次型简称二次型. 若令 x [ x 1 x 1 ⋮ x n ] , A [ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋯ ⋯ ⋯ ⋯ a n 1 a n 2 ⋯ a n n ] x \ \begin{bmatrix}x_{1} \\ x_{1} \\ \vdots \\ x_{n} \\ \end{bmatrix},A \begin{bmatrix} a_{11} a_{12} \cdots a_{1n} \\ a_{21} a_{22} \cdots a_{2n} \\ \cdots \cdots \cdots \cdots \\ a_{n1} a_{n2} \cdots a_{{nn}} \\\end{bmatrix} x x1x1⋮xn ,A a11a21⋯an1a12a22⋯an2⋯⋯⋯⋯a1na2n⋯ann ,这二次型 f f f可改写成矩阵向量形式 f x T A x f x^{T}{Ax} fxTAx。其中 A A A称为二次型矩阵因为 a i j a j i ( i , j 1 , 2 , ⋯ , n ) a_{{ij}} a_{{ji}}(i,j 1,2,\cdots,n) aijaji(i,j1,2,⋯,n)所以二次型矩阵均为对称矩阵且二次型与对称矩阵一一对应并把矩阵 A A A的秩称为二次型的秩。
2.惯性定理二次型的标准形和规范形
(1) 惯性定理
对于任一二次型不论选取怎样的合同变换使它化为仅含平方项的标准型其正负惯性指数与所选变换无关这就是所谓的惯性定理。
(2) 标准形
二次型 f ( x 1 , x 2 , ⋯ , x n ) x T A x f \left( x_{1},x_{2},\cdots,x_{n} \right) x^{T}{Ax} f(x1,x2,⋯,xn)xTAx经过合同变换 x C y x {Cy} xCy化为 f x T A x y T C T A C f x^{T}{Ax} y^{T}C^{T}{AC} fxTAxyTCTAC y ∑ i 1 r d i y i 2 y \sum_{i 1}^{r}{d_{i}y_{i}^{2}} y∑i1rdiyi2称为 f ( r ≤ n ) f(r \leq n) f(r≤n)的标准形。在一般的数域内二次型的标准形不是唯一的与所作的合同变换有关但系数不为零的平方项的个数由 r ( A ) r(A) r(A)唯一确定。
(3) 规范形
任一实二次型 f f f都可经过合同变换化为规范形 f z 1 2 z 2 2 ⋯ z p 2 − z p 1 2 − ⋯ − z r 2 f z_{1}^{2} z_{2}^{2} \cdots z_{p}^{2} - z_{p 1}^{2} - \cdots -z_{r}^{2} fz12z22⋯zp2−zp12−⋯−zr2其中 r r r为 A A A的秩 p p p为正惯性指数 r − p r -p r−p为负惯性指数且规范型唯一。
3.用正交变换和配方法化二次型为标准形二次型及其矩阵的正定性
设 A A A正定 ⇒ k A ( k 0 ) , A T , A − 1 , A ∗ \Rightarrow {kA}(k 0),A^{T},A^{- 1},A^{*} ⇒kA(k0),AT,A−1,A∗正定 ∣ A ∣ 0 |A| 0 ∣A∣0, A A A可逆 a i i 0 a_{{ii}} 0 aii0且 ∣ A i i ∣ 0 |A_{{ii}}| 0 ∣Aii∣0 A A A B B B正定 ⇒ A B \Rightarrow A B ⇒AB正定但 A B {AB} AB B A {BA} BA不一定正定 A A A正定 ⇔ f ( x ) x T A x 0 , ∀ x ≠ 0 \Leftrightarrow f(x) x^{T}{Ax} 0,\forall x \neq 0 ⇔f(x)xTAx0,∀x0 ⇔ A \Leftrightarrow A ⇔A的各阶顺序主子式全大于零 ⇔ A \Leftrightarrow A ⇔A的所有特征值大于零 ⇔ A \Leftrightarrow A ⇔A的正惯性指数为 n n n ⇔ \Leftrightarrow ⇔存在可逆阵 P P P使 A P T P A P^{T}P APTP ⇔ \Leftrightarrow ⇔存在正交矩阵 Q Q Q使 Q T A Q Q − 1 A Q ( λ 1 ⋱ λ n ) , Q^{T}{AQ} Q^{- 1}{AQ} \begin{pmatrix} \lambda_{1} \\ \begin{matrix} \\ \\ \end{matrix} \ddots \\ \lambda_{n} \\ \end{pmatrix}, QTAQQ−1AQ λ1⋱λn ,
其中 λ i 0 , i 1 , 2 , ⋯ , n . \lambda_{i} 0,i 1,2,\cdots,n. λi0,i1,2,⋯,n.正定 ⇒ k A ( k 0 ) , A T , A − 1 , A ∗ \Rightarrow {kA}(k 0),A^{T},A^{- 1},A^{*} ⇒kA(k0),AT,A−1,A∗正定 ∣ A ∣ 0 , A |A| 0,A ∣A∣0,A可逆 a i i 0 a_{{ii}} 0 aii0且 ∣ A i i ∣ 0 |A_{{ii}}| 0 ∣Aii∣0 。
总体框架 运算性质 参考文章
机器学习的线性代数基础概念 · 机器学习数学基础 (itdiffer.com)
机器学习中的线性代数 - 知乎 (zhihu.com)
线性代数基本知识-思维导图_线性代数思维导图_Arrow的博客-CSDN博客
推荐阅读
【机器学习的数学基础】一线性代数(Linear Algebra)上_linear algebra for everyone csdn_二进制人工智能的博客-CSDN博客
【机器学习的数学基础】二线性代数(Linear Algebra)中_二进制人工智能的博客-CSDN博客
【机器学习的数学基础】三线性代数(Linear Algebra)下_ordered basis线代_二进制人工智能的博客-CSDN博客
考研线性代数最全知识点梳理思维导图 - 知乎 (zhihu.com)
LQLab: Coding Learning Writing — LQLab 本文由博客一文多发平台 OpenWrite 发布
