怎么做网站百度贴吧,企业vi设计模板,无锡知名网站推广,django校园网站开发范数
机器学习中常用的几种范数
在介绍主题之前#xff0c;先来谈一个非常重要的数学思维方法#xff1a;几何方法。在大学之前#xff0c;我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等#xff0c;方程则是求函数的零点#xff1b;到了大学#xff0…范数
机器学习中常用的几种范数
在介绍主题之前先来谈一个非常重要的数学思维方法几何方法。在大学之前我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等方程则是求函数的零点到了大学我们学微积分、复变函数、实变函数、泛函等。我们一直都在学习和研究各种函数及其性质函数是数学一条重要线索另一条重要线索——几何在函数的研究中发挥着不可替代的作用几何是函数形象表达函数是几何抽象描述几何研究“形”函数研究“数”它们交织在一起推动数学向更深更抽象的方向发展。
函数图象联系了函数和几何表达两个数之间的变化关系映射推广了函数的概念使得自变量不再仅仅局限于一个数也不再局限于一维任何事物都可以拿来作映射维数可以是任意维传统的函数图象已无法直观地表达高维对象之间的映射关系这就要求我们在观念中把三维的几何空间推广到抽象的n维空间。
由于映射的对象可以是任何事物为了便于研究映射的性质以及数学表达我们首先需要对映射的对象进行“量化”取定一组“基”确定事物在这组基下的坐标事物同构于我们所熟悉的抽象几何空间中的点事物的映射可以理解为从一个空间中的点到另一个空间的点的映射而映射本身也是事物自然也可以抽象为映射空间中的一个点这就是泛函中需要研究的对象——函数。
从一个线性空间到另一个线性空间的线性映射可以用一个矩阵来表达矩阵被看线性作映射线性映射的性质可以通过研究矩阵的性质来获得比如矩阵的秩反映了线性映射值域空间的维数可逆矩阵反映了线性映射的可逆而矩阵的范数又反映了线性映射的哪些方面的性质呢矩阵范数反映了线性映射把一个向量映射为另一个向量向量的“长度”缩放的比例。
范数是把一个事物映射到非负实数且满足非负性、齐次性、三角不等式符合以上定义的都可以称之为范数所以范数的具体形式有很多种由内积定义可以导出范数范数还也可以有其他定义或其他方式导出要理解矩阵的算子范数首先要理解向量范数的内涵。矩阵的算子范数是由向量范数导出的。
由矩阵算子范数的定义形式可知矩阵A把向量x映射成向量Ax取其在向量x范数为1所构成的闭集下的向量Ax范数最大值作为矩阵A的范数即矩阵对向量缩放的比例的上界矩阵的算子范数是相容的。由几何意义可知矩阵的算子范数必然大于等于矩阵谱半径最大特征值的绝对值矩阵算子范数对应一个取到向量Ax范数最大时的向量x方向谱半径对应最大特征值下的特征向量的方向。而矩阵的奇异值分解SVD分解成左右各一个酉阵和拟对角矩阵可以理解为对向量先作旋转、再缩放、最后再旋转奇异值就是缩放的比例最大奇异值就是谱半径的推广所以矩阵算子范数大于等于矩阵的最大奇异值酉阵在此算子范数的意义下范数大于等于1。此外不同的矩阵范数是等价的。
范数理论是矩阵分析的基础度量向量之间的距离、求极限等都会用到范数范数还在机器学习、模式识别领域有着广泛的应用。
转自http://blog.sina.com.cn/s/blog_6fb6176901016dte.html
