四川省建设招标网站,中国建设报名系统官网,提升学历的重要性与意义,discuzq2.1 标量、向量、矩阵和张量标量(scalar)一个标量就是一个单独的数#xff0c;用斜体表示标量。向量(vector)一个向量是一列有序排列的数#xff0c;用粗写的小写字母表示。矩阵(matrix)矩阵式一个二维数组#xff0c;其中的么一个元素由两个索引(而非一个)所确定#xff0…2.1 标量、向量、矩阵和张量标量(scalar)一个标量就是一个单独的数用斜体表示标量。向量(vector)一个向量是一列有序排列的数用粗写的小写字母表示。矩阵(matrix)矩阵式一个二维数组其中的么一个元素由两个索引(而非一个)所确定用粗体的大写字母表示。特别地 表示 中垂直坐标 上的一横排元素即 的第 行 表示 的第 列。转置(transpose)矩阵的转置是以主对角线为轴的镜像。广播(broadcasting) 其中 即向量b和矩阵的每一行相加这种操作称为广播。张量(tensor)一般地一个数组中的元素分布在若干维坐标的规则网格中称之为张量。使用A表示张量。2.2 矩阵和向量相乘 定义为 注意(1) 两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积;(2) 两个向量的点积 可以看作矩阵的乘积 ;(3) 两个向量的点积满足交换律 ;(4) 分配律 ;(5) 结合律 ;(6) ;(7) 不常有。元素对应乘积(element-wise product)或者Hadamard乘积(Hadamard product)。2.3 单位矩阵和逆矩阵单位矩阵(identity matrix)任意向量和单位矩阵相乘都不会改变。逆矩阵(matrix inversion) 的逆矩阵记为 。注意只有方阵才具有逆矩阵否则叫伪逆。2.4 线性相关和生成子空间线性组合(linear combination)理解 。如果 存在则对于每一个向量 恰好存在一个解。但对于方程组而言对于 的某些值可能不存在解也可能存在无限多个解若 和 都是某方程组的解则 也是该方程组的解(为任意实数)。为了分析方程有多少个解可以将 的列向量看作从原点(origin)(元素都是零的向量)出发的不同方向确定有多少种方法能够到达向量 。在这一观点下向量 中的每一个元素表示我们应该沿着这些方向走多远即 表示我们需要沿着第 个向量的方向走多远:生成子空间(span)一组向量的线性组合是指每个向量乘以对应标量系数之后的和即: 确定 是否有解相当于确定向量 是否在 列向量的生成子空间中这个特殊的子空间被称为 的列空间(column space)或者 的值域(range)。线性相关和线性无关如果一组向量中的任意一个向量能表示成其他向量的线性组合则这组向量称为线性相关(linear dependence)反之称为线性无关(linear dependence)。奇异矩阵列向量线性相关的矩阵称为奇异矩阵否则称为非奇异矩阵。2.5 范数范数定义 其中 。欧几里德范数和 范数欧几里德范数用于衡量向量的大小 范数当机器学习中零和非零元素之间的差异非常重要时通常会使用 范数。每当 中某个元素从0增加 对应的 范数也会增加 。Frobenius范数(Frobenius norm)点积和范数2.6 特殊类型的矩阵和向量对角矩阵(diagonal matrix)并非所有的对角矩阵都为方阵长方形的矩阵也可能是对角阵非方阵的对角矩阵没有逆矩阵。对于长方形对角阵 而言乘法 涉及 中每个元素的缩放若 为瘦长形矩阵那么缩放后的末尾加一些零若 为胖宽形矩阵那么在缩放后去掉最后一些元素。对称矩阵(symmetric matrix)单位向量(unit vector)单位向量是具有单位范数的向量即 。正交(orthogonal)标准正交 且 。正交阵(orthogonal matrix) 即 。2.7 特征分解(eigendecomposition)特征分解与整数的分解进行对比整数分解是为了找整数内在的性质。可通过分解矩阵发现矩阵表示成数组元素时不明显的函数性质。 其中 是 的特征向量组成的正交矩阵 是对角矩阵。特征值 对应的特征向量是矩阵 的第 列记作 。因为 是正交矩阵可以将 看作沿方向 延展 倍的空间。正定(positive definite)实对称矩阵的特征值分解可以用于优化二次方程 ( )其中限制 。当 等于 的某个特征向量时 将返回对应的特征值。在限制条件下函数 的最大值是最大特征值最小值是最小特征值。正定 ;半正定 ;负定 ;半负定 ;2.8 奇异值分解(SVD)奇异值分解与特征分解a、每一个实数矩阵都有一个奇异值分解但不一定都有特征分解b、公式特征分解 奇异值分解 2.9 Moore-Penrose伪逆求伪逆 其中 为SVD分解 是对角矩阵 的伪逆是其非零元素取倒数之后再转置得到。解的不同情形a、A的列数多于行数用伪逆求得的 是众多可能解的一种 是方程 的可行解中 最小的一个。b、A的行数多于列数可能没有解。通过伪逆得到的 使得 和 的欧几里德距离最小( 最小)这里 。2.10 迹运算定义Frobenius范数性质 ; ; ;标量的迹为本身: ;2.11 行列式计算行列式等于矩阵特征值的乘积行列式的绝对值可以用来衡量举证参与矩阵乘法后空间扩大或缩小了多少。2.12 PCA设 空间中有m个点 要压缩这些点用更少的内存损失一些精度去存储这些点。并希望损失的精度尽可能少一些编码这些点是用低维表示对于每个点 会有一个对应的编码向量 , 则可以用更少的内存存储原数据。 目的找到编码函数根输入返回编码 找到编码函数给定编码重构输入 。为简化编码器使用矩阵将编码映射会 即 其中 是解码矩阵且 中所有列向量都有单位范数即 且正交。 首先需要明确如何根据每一个输入 得到一个最有编码 。可以最小化原始输入向量 和重构向量 之间的距离。用 范数用平方 范数代替 范数:因 ,故:因 为标量故因 不依赖于 问题转化为 。因 则因 为正交矩阵且其列向量有单位范数即 则即求 的最小值因 是非负的且平方在非负值上是单调的因此可以通过向量微积分求最小值即编码函数为定义PCA重构操作推而广之需要最小化所有维数和所有点上的误差矩阵的Frobenius范数当 时 为一个单一向量 则因为 为标量等价于将表示个点的向量堆叠成一个矩阵记为 其中 。原问题可以重新表述为暂不考虑约束问题可以将Frobenius范数简化成下面的形式因为 上式等于:因为与 无关的项不影响argmin迹中相乘矩阵的顺序不影响结果上式等价于此时再来考虑约束条件因为约束条件上式等价于:这个优化问题可以通过特征分解来求解最优的 是 最大特征值对应的特征向量。以上 的情况得到了第一个主成。
