上海的建设项目招投标在哪个网站,门户网站建设工作总结,国际贸易公司,太原市网站本文主要介绍相关系数的概念#xff0c;以及简单相关系数中的pearson相关系数及其局限性。随后介绍pearson相关系数无法解决的问题(两个变量组之间的相关性问题)的解决方案。1、pearson相关系数在日常中#xff0c;我们经常会遇到一些关于相关性的分析#xff0c;例如#… 本文主要介绍相关系数的概念以及简单相关系数中的pearson相关系数及其局限性。随后介绍pearson相关系数无法解决的问题(两个变量组之间的相关性问题)的解决方案。1、pearson相关系数在日常中我们经常会遇到一些关于相关性的分析例如一个人每日的运动量与他体重之间的相关性一支股票的价格与该公司的盈利状况的相关性等等。在上述两种情况下我们给出的结论一般是一个人每日的运动量越大他的体重就越轻公司的盈利状况越好股票的价格越高。那么相关性到底是个什么东西呢根据维基百科的定义相关(Correlation或称相关系数或关联系数)显示两个随机变量之间线性关系的强度和方向。在统计学中相关的意义是用来衡量两个变量相对于其相互独立的距离。实际上早在19世纪80年代相关性在统计学上有明确的定义由卡尔·皮尔逊提出的pearson相关系数就是最常用的相关系数是一种简单相关系数。我们平时谈论的相关基本上指的都是线性相关在线性相关中最常用的就是pearson相关系数。除了此之外还有其他的一些相关系数如Spearman相关系数称为“秩相关系数”是反映等级相关程度的统计分析指标描述的是变量间等级、序数之间的关系。而与pearson相关系数同为简单相关系数的是夹角的余弦值也就是余弦相似度。本文将主要介绍pearson相关系数。pearson相关系数的取值在-1到1之间其中取值为-1时表示完全负相关1时表示完全正相关0为不相关。具体的计算公式如下其中是X与Y的协方差,分别为X与Y的标准差。下图是《数据挖掘导论》中关于pearson相关系数的图能够比较直观的展示pearson相关系数值得大小与相关性的关系。《数据挖掘导论》pearson相关系数正如之前说的pearson相关系数是一种简单相关系数反映的是两个变量之间的线性关系因此对于非线性的关系pearson相关系数会接近于0无法描述如下图维基百科相关系数(x,y)点集图2、典型相关性分析(CCA)pearson相关系数描述的是一个变量与另外一个变量之间的相关性。但是现实中多个变量与多个变量之间的关系往往会更常见。例如我们想知道一个人的日常情况(每日运动量X1、日常饮食X2)与他的健康状况(血压Y1、血糖Y2)之间的相关性一支股票的价格(开盘价X1、收盘价X2、最高价X3)与它公司(盈利情况Y1所处行业整体趋势Y2负面消息量Y3)的相关性。如果我们直接使用pearson相关系数来解决上述例子的话就需要考虑所有变量两两之间的相关性。但是这种做法只能孤立的考虑单个变量Xi与Yj间的关系没有考虑变量所在的变量组本身各个子变量的相关性。了解多元回归分析的人可能知道以股票为例如果我们只想知道它的每日最高价与公司之间(盈利情况所处行业整体趋势负面消息量)的相关性就可以将股票最高价最为Y公司情况分别为X1X2X3通过数据进行拟合来找到Y与X之间的最佳线性组合。但是如果考虑多个Y那么多元回归分析就显得有些无从下手。实际上典型相关性分析就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法是简单相关的推广是多元回归分析的延伸。它的应用场景主要是多视图分析与两组变量之间的相关性分析且每组变量包含多个子变量且子变量相互有一定的相关性。典型相关性分析(CCA)算法的基本思想是在两组变量上分别找到一种线性组合使得X与Y之间的pearson相关系数最大。所以CCA就转化为如何去求解这两组线性组合的系数使得线性表示后的变量能够取到最大的相关系数因此CCA也可以理解为一种降维的方法。具体地可以将其转化为一个最优化问题具体求解的方法则采用奇异值分解(SVD)的方法进行求解。
