惠州专业网站制作公司,网站被墙了什么意思,四川旅游seo整站优化站优化,北京建设建网站本文基于Deep Learning (2017, MIT)#xff0c;推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。 blog 1 概述
现代数据集#xff0c;如网络索引、高分辨率图像、气象学、实验测量等#xff0c;通常包含高维特征#xff0c;高纬度的数据可能不清晰、冗余推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。 blog 1 概述
现代数据集如网络索引、高分辨率图像、气象学、实验测量等通常包含高维特征高纬度的数据可能不清晰、冗余甚至具有误导性。数据可视化和解释变量之间的关系很困难而使用这种高维数据训练的神经网络模型往往容易出现过拟合维度诅咒。 主成分分析PCA是一种简单而强大的无监督机器学习技术用于数据降维。它旨在从大型变量集中提取一个较小的数据集同时尽可能保留原始信息和特征有损压缩。PCA有助于识别数据集中最显著和有意义的特征使数据易于可视化。应用场景包括统计学、去噪和为机器学习算法预处理数据。
主成分是什么 主成分是构建为原始变量的线性组合的新变量。这些新变量是不相关的并且包含原始数据中大部分的信息。 2 背景数学知识
这些知识对下一节的推导很重要。
正交向量和矩阵 如果两个向量垂直则它们是正交的。即两个向量的点积为零。正交矩阵是一个方阵其行和列是相互正交的单位向量每两行和两列的点积为零每一行和每一列的大小为1。如果 A T A − 1 A^TA^{-1} ATA−1或 A A T A T A I AA^TA^TAI AATATAI则 A A A是正交矩阵。在机器人学中旋转矩阵通常是一个 3 × 3 3\times3 3×3的正交矩阵在空间变换中它会旋转向量的方向但保持原始向量的大小。 矩阵、向量乘法规则 ( A B ) T B T A T (AB)^TB^TA^T (AB)TBTAT两个矩阵的乘积的转置。 a ⃗ T b ⃗ b ⃗ T a ⃗ \vec{a}^T\vec{b}\vec{b}^T\vec{a} a Tb b Ta 两个结果都是标量标量的转置是相同的。 ( A B ) C A C B C (A B)C AC BC (AB)CACBC乘法是可分配的。 A B ≠ B A AB \neq{} BA ABBA乘法一般不满足交换律。 A ( B C ) ( A B ) C A(BC)(AB)C A(BC)(AB)C乘法满足结合律。 对称矩阵 A A T AA^T AAT A A A是对称矩阵。 X T X X^TX XTX是对称矩阵因为 ( X T X ) T X T X (X^TX)^TX^TX (XTX)TXTX。 向量导数规则 B B B是常量矩阵 d ( x T B ) / d x B d(x^TB)/dxB d(xTB)/dxB d ( x T x ) / d x 2 x d(x^Tx)/dx2x d(xTx)/dx2x d ( x T B x ) / d x 2 B x d(x^TBx)/dx2Bx d(xTBx)/dx2Bx 矩阵迹规则 T r ( A ) T r ( A T ) Tr(A)Tr(A^T) Tr(A)Tr(AT) T r ( A B ) T r ( B A ) Tr(AB)Tr(BA) Tr(AB)Tr(BA) T r ( A ) ∑ i λ i Tr(A)\sum_i{\lambda_i} Tr(A)∑iλi其中 λ \lambda λ是 A A A的特征值。迹在循环移位下不变 T r ( A B C D ) T r ( B C D A ) T r ( C D A B ) T r ( D A B C ) Tr(ABCD)Tr(BCDA)Tr(CDAB)Tr(DABC) Tr(ABCD)Tr(BCDA)Tr(CDAB)Tr(DABC) 向量和矩阵范数 向量的 L 2 L^2 L2范数也称为欧几里得范数 ∣ ∣ x ∣ ∣ 2 ∑ i ∣ x i ∣ 2 ||x||_2\sqrt{\sum_i|x_i|^2} ∣∣x∣∣2∑i∣xi∣2 。通常使用平方的 L 2 L^2 L2范数来衡量向量的大小可以计算为 x T x x^Tx xTx。Frobenius范数用于衡量矩阵的大小 ∣ ∣ A ∣ ∣ F ∑ i , j A i , j 2 ||A||_F\sqrt{\sum_{i,j}A^2_{i,j}} ∣∣A∣∣F∑i,jAi,j2 Frobenius范数是所有矩阵元素的绝对平方和的平方根。Frobenius范数是矩阵版本的欧几里得范数。 特征值分解和特征值 方阵 A A A的特征向量是一个非零向量 v v v使得 A A A的乘法仅改变 v v v的比例 A v λ v Av\lambda v Avλv。 λ \lambda λ是特征值 v v v是特征向量。假设矩阵 A A A有 n n n个线性无关的特征向量 v ( i ) v^{(i)} v(i)我们可以将所有特征向量连接起来形成一个矩阵 V [ v ( 1 ) , … , v ( n ) ] V[v^{(1)},\ldots,v^{(n)}] V[v(1),…,v(n)]并通过连接所有特征值 λ [ λ 1 , … , λ n ] T \lambda[\lambda_1,\ldots,\lambda_n]^T λ[λ1,…,λn]T形成一个向量那么 A A A的特征分解是 A V d i a g ( λ ) V − 1 AVdiag(\lambda)V^{-1} AVdiag(λ)V−1每个实对称矩阵都可以分解为 A Q Λ Q T AQ\Lambda Q^T AQΛQT其中 Q Q Q是由 A A A的特征向量组成的正交矩阵 Λ \Lambda Λ读作’lambda’是一个对角矩阵。 拉格朗日乘数法 拉格朗日乘数法是一种在方程约束下寻找函数局部最大值和最小值的策略。一般形式 L ( x , λ ) f ( x ) λ ⋅ g ( x ) \mathcal{L}(x,\lambda)f(x)\lambda\cdot g(x) L(x,λ)f(x)λ⋅g(x) λ \lambda λ称为拉格朗日乘子。 3 详细PCA推导
需求描述
我们有 m m m个点的输入数据表示为 x ( 1 ) , . . . , x ( m ) {x^{(1)},...,x^{(m)}} x(1),...,x(m)在 R n \mathbb{R}^{n} Rn的实数集中。因此每个点 x ( i ) x^{(i)} x(i)是一个列向量具有 n n n维特征。
需要对输入数据进行有损压缩将这些点编码以表示它们的较低维度版本。换句话说我们想要找到编码向量 c ( i ) ∈ R l c^{(i)}\in \mathbb{R}^{l} c(i)∈Rl ( l n ) (ln) (ln)来表示每个输入点 x ( i ) x^{(i)} x(i)。我们的目标是找到产生输入的编码向量的编码函数 f ( x ) c f(x)c f(x)c以及相应的重构解码函数 x ≈ g ( f ( x ) ) x\approx g(f(x)) x≈g(f(x))根据编码向量 c c c计算原始输入。
解码的 g ( f ( x ) ) g(f(x)) g(f(x))是一组新的点变量因此它与原始 x x x是近似的。存储 c ( i ) c^{(i)} c(i)和解码函数比存储 x ( i ) x^{(i)} x(i)更节省空间因为 c ( i ) c^{(i)} c(i)的维度较低。
解码矩阵
我们选择使用矩阵 D D D作为解码矩阵将编码向量 c ( i ) c^{(i)} c(i)映射回 R n \mathbb{R}^{n} Rn因此 g ( c ) D c g(c)Dc g(c)Dc其中 D ∈ R n × l D\in \mathbb{R}^{n\times l} D∈Rn×l。为了简化编码问题PCA将 D D D的列约束为彼此正交。
衡量重构的表现
在继续之前我们需要弄清楚如何生成最优的编码点 c ∗ c^{*} c∗我们可以测量输入点 x x x与其重构 g ( c ∗ ) g(c^*) g(c∗)之间的距离使用 L 2 L^2 L2范数或欧几里得范数 c ∗ arg min c ∣ ∣ x − g ( c ) ∣ ∣ 2 c^{*}\arg\min_c||x-g(c)||_2 c∗argminc∣∣x−g(c)∣∣2。由于 L 2 L^2 L2范数是非负的并且平方操作是单调递增的所以我们可以转而使用平方的 L 2 L^2 L2范数 c ∗ arg min c ∣ ∣ x − g ( c ) ∣ ∣ 2 2 c^{*}{\arg\min}_c||x-g(c)||_2^2 c∗argminc∣∣x−g(c)∣∣22 向量的 L 2 L^2 L2范数是其分量的平方和它等于向量与自身的点积例如 ∣ ∣ x ∣ ∣ 2 ∑ ∣ x i ∣ 2 x T x ||x||_2\sqrt{\sum|x_i|^2}\sqrt{x^Tx} ∣∣x∣∣2∑∣xi∣2 xTx 因此平方的 L 2 L^2 L2范数可以写成以下形式 ∣ ∣ x − g ( c ) ∣ ∣ 2 2 ( x − g ( c ) ) T ( x − g ( c ) ) ||x-g(c)||_2^2 (x-g(c))^T(x-g(c)) ∣∣x−g(c)∣∣22(x−g(c))T(x−g(c)) 由分配率 ( x T − g ( c ) T ) ( x − g ( c ) ) x T x − x T g ( c ) − g ( c ) T x g ( c ) T g ( c ) (x^T-g(c)^T)(x-g(c))x^Tx-x^Tg(c)-g(c)^Txg(c)^Tg(c) (xT−g(c)T)(x−g(c))xTx−xTg(c)−g(c)Txg(c)Tg(c) 由于 x T g ( c ) x^Tg(c) xTg(c)和 g ( c ) T x g(c)^Tx g(c)Tx是标量标量等于其转置 ( g ( c ) T x ) T x T g ( c ) (g(c)^Tx)^Tx^Tg(c) (g(c)Tx)TxTg(c)所以 x T x − 2 x T g ( c ) g ( c ) T g ( c ) x^Tx-2x^Tg(c)g(c)^Tg(c) xTx−2xTg(c)g(c)Tg(c) 为了找到使上述函数最小化的 c c c第一项可以省略因为它不依赖于 c c c所以 c ∗ arg min c − 2 x T g ( c ) g ( c ) T g ( c ) c^*{\arg\min}_c-2x^Tg(c)g(c)^Tg(c) c∗argminc−2xTg(c)g(c)Tg(c) 然后用 g ( c ) g(c) g(c)的定义 D c Dc Dc进行替换 arg min c − 2 x T D c c T D T D c {\arg\min}_c-2x^TDcc^TD^TDc argminc−2xTDccTDTDc 由于 D D D的正交性和单位范数约束 c ∗ arg min c − 2 x T D c c T I l c c^*{\arg\min}_c-2x^TDcc^TI_lc c∗argminc−2xTDccTIlc arg min c − 2 x T D c c T c {\arg\min}_c-2x^TDcc^Tc argminc−2xTDccTc
目标函数
现在目标函数是 − 2 x T D c c T c -2x^TDcc^Tc −2xTDccTc我们需要找到 c ∗ c^* c∗来最小化目标函数。使用向量微积分并令其导数等于0 ∇ c ( − 2 x T D c c T c ) 0 \nabla_c(-2x^TDcc^Tc)0 ∇c(−2xTDccTc)0 根据向量导数规则 − 2 D T x 2 c 0 ⇒ c D T x -2D^Tx2c0 \Rightarrow cD^Tx −2DTx2c0⇒cDTx
找到编码矩阵 D D D
所以编码器函数是 f ( x ) D T x f(x)D^Tx f(x)DTx。因此我们可以定义 PCA 重构操作为 r ( x ) g ( f ( x ) ) D ( D T x ) D D T x r(x)g(f(x))D(D^Tx)DD^Tx r(x)g(f(x))D(DTx)DDTx。
因此编码矩阵 D D D 也被重构过程使用。我们需要找到最优的 D D D 来最小化重构误差即输入和重构之间所有维度特征的距离。这里使用 Frobenius 范数矩阵范数定义目标函数 D ∗ arg min D ∑ i , j ( x j ( i ) − r ( x i ) j ) 2 , D T D I l D^*{\arg\min}_D\sqrt{\sum_{i,j}(x_j^{(i)}-r(x^{i})_j)^2},\quad D^TDI_l D∗argminDi,j∑(xj(i)−r(xi)j)2 ,DTDIl 从考虑 l 1 l1 l1 的情况开始这也是第一个主成分 D D D 是一个单一向量 d d d并使用平方 L 2 L^2 L2 范数形式 d ∗ arg min d ∑ i ∣ ∣ ( x ( i ) − r ( x i ) ) ∣ ∣ 2 2 , ∣ ∣ d ∣ ∣ 2 1 d^*{\arg\min}_d{\sum_{i}||(x^{(i)}-r(x^{i}))}||_2^2, ||d||_21 d∗argmindi∑∣∣(x(i)−r(xi))∣∣22,∣∣d∣∣21 arg min d ∑ i ∣ ∣ ( x ( i ) − d d T x ( i ) ) ∣ ∣ 2 2 , ∣ ∣ d ∣ ∣ 2 1 {\arg\min}_d{\sum_{i}||(x^{(i)}-dd^Tx^{(i)})||_2^2}, ||d||_21 argmindi∑∣∣(x(i)−ddTx(i))∣∣22,∣∣d∣∣21 d T x ( i ) d^Tx^{(i)} dTx(i) 是一个标量 arg min d ∑ i ∣ ∣ ( x ( i ) − d T x ( i ) d ) ∣ ∣ 2 2 , ∣ ∣ d ∣ ∣ 2 1 {\arg\min}_d{\sum_{i}||(x^{(i)}-d^Tx^{(i)}d)}||_2^2, ||d||_21 argmindi∑∣∣(x(i)−dTx(i)d)∣∣22,∣∣d∣∣21 标量等于其自身的转置 d ∗ arg min d ∑ i ∣ ∣ ( x ( i ) − x ( i ) T d d ) ∣ ∣ 2 2 , ∣ ∣ d ∣ ∣ 2 1 d^* {\arg\min}_d{\sum_{i}||(x^{(i)}-x^{(i)T}dd)}||_2^2, ||d||_21 d∗argmindi∑∣∣(x(i)−x(i)Tdd)∣∣22,∣∣d∣∣21
使用矩阵形式表示
令 X ∈ R m × n X\in \mathbb{R}^{m\times n} X∈Rm×n 表示所有描述点的向量堆叠即 { x ( 1 ) T , x ( 2 ) T , … , x ( i ) T , … , x ( m ) T } \{x^{(1)^T}, x^{(2)^T}, \ldots, x^{(i)^T}, \ldots, x^{(m)^T}\} {x(1)T,x(2)T,…,x(i)T,…,x(m)T}使得 X i , : x ( i ) T X_{i,:}x^{(i)^T} Xi,:x(i)T。 X [ x ( 1 ) T x ( 2 ) T … x ( m ) T ] ⇒ X d [ x ( 1 ) T d x ( 2 ) T d … x ( m ) T d ] X \begin{bmatrix} x^{(1)^T}\\ x^{(2)^T}\\ \ldots\\ x^{(m)^T} \end{bmatrix} \Rightarrow Xd \begin{bmatrix} x^{(1)^T}d\\ x^{(2)^T}d\\ \ldots\\ x^{(m)^T}d \end{bmatrix} X x(1)Tx(2)T…x(m)T ⇒Xd x(1)Tdx(2)Td…x(m)Td ⇒ X d d T [ x ( 1 ) T d d T x ( 2 ) T d d T … x ( m ) T d d T ] \Rightarrow Xdd^T \begin{bmatrix} x^{(1)^T}dd^T\\ x^{(2)^T}dd^T\\ \ldots\\ x^{(m)^T}dd^T\\ \end{bmatrix} ⇒XddT x(1)TddTx(2)TddT…x(m)TddT ⇒ X − X d d T [ x ( 1 ) T − x ( 1 ) T d d T x ( 2 ) T − x ( 2 ) T d d T … x ( m ) T − x ( m ) T d d T ] \Rightarrow X-Xdd^T \begin{bmatrix} x^{(1)^T}-x^{(1)^T}dd^T\\ x^{(2)^T}-x^{(2)^T}dd^T\\ \ldots\\ x^{(m)^T}-x^{(m)^T}dd^T\\ \end{bmatrix} ⇒X−XddT x(1)T−x(1)TddTx(2)T−x(2)TddT…x(m)T−x(m)TddT 矩阵中的一行的转置 ( x ( i ) T − x ( i ) T d d T ) T x ( i ) − d d T x ( i ) (x^{(i)^T}-x^{(i)^T}dd^T)^Tx^{(i)}-dd^Tx^{(i)} (x(i)T−x(i)TddT)Tx(i)−ddTx(i) 由于 d T x ( i ) d^Tx^{(i)} dTx(i) 是标量 x ( i ) − d T x ( i ) d x ( i ) − x ( i ) T d d x^{(i)}-d^Tx^{(i)}dx^{(i)}-x^{(i)^T}dd x(i)−dTx(i)dx(i)−x(i)Tdd 所以我们知道 X X X 的第 i i i 行的 L 2 L^2 L2 范数与原始形式相同因此我们可以使用矩阵重写问题并省略求和符号 d ∗ arg min d ∣ ∣ X − X d d T ∣ ∣ F 2 , d T d 1 d^*{\arg\min}_{d}||X-Xdd^T||_F^2, \quad d^Td1 d∗argmind∣∣X−XddT∣∣F2,dTd1 利用矩阵迹规则简化 Frobenius 范数部分如下 arg min d ∣ ∣ X − X d d T ∣ ∣ F 2 {\arg\min}_{d}||X-Xdd^T||_F^2 argmind∣∣X−XddT∣∣F2 arg min d T r ( ( X − X d d T ) T ( X − X d d T ) ) {\arg\min}_{d}Tr((X-Xdd^T)^T(X-Xdd^T)) argmindTr((X−XddT)T(X−XddT)) arg min d − T r ( X T X d d T ) − T r ( d d T X T X ) T r ( d d T X T X d d T ) {\arg\min}_{d}-Tr(X^TXdd^T)-Tr(dd^TX^TX)Tr(dd^TX^TXdd^T) argmind−Tr(XTXddT)−Tr(ddTXTX)Tr(ddTXTXddT) arg min d − 2 T r ( X T X d d T ) T r ( X T X d d T d d T ) {\arg\min}_{d}-2Tr(X^TXdd^T)Tr(X^TXdd^Tdd^T) argmind−2Tr(XTXddT)Tr(XTXddTddT) 由于 d T d 1 d^Td1 dTd1 arg min d − 2 T r ( X T X d d T ) T r ( X T X d d T ) {\arg\min}_{d}-2Tr(X^TXdd^T)Tr(X^TXdd^T) argmind−2Tr(XTXddT)Tr(XTXddT) arg min d − T r ( X T X d d T ) {\arg\min}_{d}-Tr(X^TXdd^T) argmind−Tr(XTXddT) arg max d T r ( X T X d d T ) {\arg\max}_{d}Tr(X^TXdd^T) argmaxdTr(XTXddT) 由于迹是循环置换不变的将方程重写为 d ∗ arg max d T r ( d T X T X d ) , d T d 1 d^*{\arg\max}_{d}Tr(d^TX^TXd), \quad d^Td1 d∗argmaxdTr(dTXTXd),dTd1 由于 d T X T X d d^TX^TXd dTXTXd 是实数因此迹符号可以省略 d ∗ arg max d d T X T X d , d T d 1 d^*{\arg\max}_{d}d^TX^TXd,\quad d^Td1 d∗argmaxddTXTXd,dTd1
寻找最优的 d d d
现在的问题是找到最优的 d d d 来最大化 d T X T X d d^TX^TXd dTXTXd并且有约束条件 d T d 1 d^Td1 dTd1。
使用拉格朗日乘子法来将问题描述为关于 d d d 的形式 L ( d , λ ) d T X T X d λ ( d T d − 1 ) \mathcal{L}(d,\lambda)d^TX^TXd\lambda(d^Td-1) L(d,λ)dTXTXdλ(dTd−1) 对 d d d 求导数向量导数规则 ∇ d L ( d , λ ) 2 X T X d 2 λ d \nabla_d\mathcal{L}(d,\lambda)2X^TXd2\lambda d ∇dL(d,λ)2XTXd2λd 令导数等于0 d d d 将是最优的 2 X T X d 2 λ d 0 2X^TXd2\lambda d0 2XTXd2λd0 X T X d − λ d X^TXd-\lambda d XTXd−λd X T X d λ ′ d , ( λ ′ − λ ) X^TXd\lambda d,\quad(\lambda-\lambda) XTXdλ′d,(λ′−λ) 这个方程是典型的矩阵特征值分解形式 d d d 是矩阵 X T X X^TX XTX 的特征向量 λ ′ \lambda λ′ 是对应的特征值。
利用上述结果让我们重新审视原方程 d ∗ arg max d d T X T X d , d T d 1 d^*{\arg\max}_{d}d^TX^TXd, \quad d^Td1 d∗argmaxddTXTXd,dTd1 arg max d d T λ ′ d {\arg\max}_{d}d^T\lambda d argmaxddTλ′d arg max d λ ′ d T d {\arg\max}_{d}\lambdad^T d argmaxdλ′dTd arg max d λ ′ {\arg\max}_{d}\lambda argmaxdλ′ 现在问题已经变的非常清楚了 X T X X^TX XTX 的最大特征值会最大化原方程的结果因此最优的 d d d 是矩阵 X T X X^TX XTX 对应最大特征值的特征向量。
这个推导是针对 l 1 l1 l1 的情况只包含第一个主成分。当 l 1 l1 l1 时 D [ d 1 , d 2 , … ] D[d_1, d_2, \ldots] D[d1,d2,…]第一个主成分 d 1 d_1 d1 是矩阵 X T X X^TX XTX 对应最大特征值的特征向量第二个主成分 d 2 d_2 d2 是对应第二大特征值的特征向量以此类推。 4 总结
我们有一个数据集包含 m m m 个点记为 x ( 1 ) , . . . , x ( m ) {x^{(1)},...,x^{(m)}} x(1),...,x(m)。 令 X ∈ R m × n X\in \mathbb{R}^{m\times n} X∈Rm×n 为将所有这些点堆叠而成的矩阵 [ x ( 1 ) T , x ( 2 ) T , … , x ( i ) T , … , x ( m ) T ] [x^{(1)^T}, x^{(2)^T}, \ldots, x^{(i)^T}, \ldots, x^{(m)^T}] [x(1)T,x(2)T,…,x(i)T,…,x(m)T]。
主成分分析PCA编码函数表示为 f ( x ) D T x f(x)D^Tx f(x)DTx重构函数表示为 x ≈ g ( c ) D c x\approx g(c)Dc x≈g(c)Dc其中 D [ d 1 , d 2 , … ] D[d_1, d_2, \ldots] D[d1,d2,…] 的列是 X T X X^TX XTX 的特征向量特征向量对应的特征值大小为降序排列。 D T x D^Tx DTx即是降维度之后的数据。 呼~ 后续恢复元气后会分析一些PCA的应用案例。 “Remember, Red, hope is a good thing, maybe the best of things, and no good thing ever dies. I will be hoping that this letter finds you, and finds you well.”
