wordpress 微商城模板下载地址,湖南seo推广方法,制作收款网站,经纪人做网站技巧#x1f935;♂️ 个人主页: AI_magician #x1f4e1;主页地址#xff1a; 作者简介#xff1a;CSDN内容合伙人#xff0c;全栈领域优质创作者。 #x1f468;#x1f4bb;景愿#xff1a;旨在于能和更多的热爱计算机的伙伴一起成长#xff01;#xff01;… ♂️ 个人主页: AI_magician 主页地址 作者简介CSDN内容合伙人全栈领域优质创作者。 景愿旨在于能和更多的热爱计算机的伙伴一起成长 【机器学习 | 假设检验系列】假设检验系列—卡方检验详细案例数学公式原理推导最常被忽视得假设检验确定不来看看 作者 计算机魔术师 版本 1.0 2023.8.27 摘要 本系列旨在普及那些深度学习路上必经的核心概念【机器学习 | 假设检验系列】假设检验系列—卡方检验详细案例数学公式原理推导最常被忽视得假设检验确定不来看看 该文章收录专栏 [✨— 《深入解析机器学习从原理到应用的全面指南》 —✨] 假设检验Hypothesis Testing
假设检验Hypothesis Testing是狭义数据分析中的一种常用方法用于检验关于总体参数的假设。它可以帮助我们判断样本数据与某个假设之间是否存在显著差异。假设检验通常涉及以下步骤 建立原假设Null Hypothesis和备择假设Alternative Hypothesis原假设是关于总体参数的某种假设备择假设是与原假设相对立的假设。 选择适当的假设检验方法根据研究问题和数据类型选择适合的假设检验方法例如t检验、卡方检验、ANOVA等。 计算检验统计量根据所选的假设检验方法计算得到相应的检验统计量。 确定显著性水平设定显著性水平例如0.05表示拒绝原假设的阈值。 p 值p-value是用于衡量统计假设检验结果的一个概率指标(可以理解为是一个用来衡量观察到的数据与原假设之间的矛盾程度的指标)。它表示观察到的数据或更极端情况下基于原假设零假设成立的情况下发生的概率。 进行假设检验根据检验统计量和显著性水平判断样本数据是否足够证据支持或拒绝原假设。 得出结论根据假设检验的结果得出关于总体参数的结论并进行解释。
假设检验可以帮助我们验证关于总体参数的假设从而在数据分析过程中提供可靠的推断和结论。因此它可以被视为狭义数据分析的一部分。
名称介绍优缺点正态性检验 (Normality Test)正态性检验用于确定数据是否符合正态分布。常用的正态性检验方法包括Kolmogorov-Smirnov检验、Shapiro-Wilk检验和Anderson-Darling检验等。优点可以帮助确定数据是否适合使用基于正态分布的统计方法。缺点对于大样本数据即使微小的偏差也可能导致拒绝正态性假设。相关性检验 (Correlation Test)相关性检验用于确定两个变量之间的相关性。常用的相关性检验方法包括Pearson相关系数、Spearman等级相关系数和Kendall秩相关系数。(该检验算法只能用于数值型而不能用于类别型)优点可以衡量变量之间的线性或非线性关系。缺点相关性并不能说明因果关系只是指示变量之间的关联程度。异常值检测 (Outlier Detection)异常值检测用于识别在数据集中具有异常特征的数据点。常用的异常值检测方法包括基于统计学的Z-score方法、3σ原则、箱线图方法和基于距离的方法如DBSCAN。优点可以帮助识别异常值对于数据清洗和异常数据处理很有用。缺点某些方法对于多维数据和高维数据的处理较为困难。方差分析 (Analysis of Variance, ANOVA)方差分析用于比较两个或多个组之间的均值是否有显著差异。常用的方差分析方法包括单因素方差分析和多因素方差分析。优点适用于比较多个组之间的差异提供了有效的统计推断。缺点对于非正态分布的数据和小样本容量可能不适用。t检验 (t-Test)t检验用于比较两个组之间的均值是否有显著差异。常用的t检验方法包括独立样本t检验和配对样本t检验。优点简单易用适用于小样本数据。缺点对于非正态分布的数据可能不准确对异常值敏感。卡方检验 (Chi-Square Test)卡方检验用于比较两个或多个分类变量之间的关联性。常用的卡方检验方法包括卡方独立性检验和卡方拟合度检验。优点适用于分类数据的统计推断用于检验观察频数与期望频数之间的差异。缺点对于样本量较小或期望频数较低的情况可能不准确。平稳性检验Stationarity Test用于检验时间序列数据是否具有平稳性的统计检验方法。平稳性是指时间序列的统计特性在不同时间段上保持不变。优点可以判断时间序列数据是否具有平稳性为后续时间序列分析提供基础。缺点不同的平稳性检验方法可能会得出不同的结果需要综合考虑多个检验方法。白噪声检验White Noise Test用于检验时间序列数据是否符合白噪声过程的统计检验方法。白噪声是指具有相互独立且均值为零的随机变量序列没有序列之间的相关性。优点可以检验时间序列数据是否具有随机性和独立性对于时间序列分析的合理性很重要。缺点不同的白噪声检验方法可能会得出不同的结果需要综合考虑多个检验方法。
卡方检验
卡方检验Chi-square test是由卡方分布Chi-square distribution衍生而来的一种统计方法。卡方分布最初由英国统计学家卡尔·皮尔逊Karl Pearson于1900年提出提供了一种有效的方法来分析和解释离散型数据的关联性帮助研究人员得出结论和推断。卡方检验是基于卡方分布的概念发展而来的于此后的统计学和应用领域被广泛使用例如医学研究、社会科学调查、市场研究等。
卡方统计量的计算基于观察频数与期望频数的差异程度差异越大卡方统计量的值就越大。卡方统计量的分布与自由度有关可以使用卡方分布表或统计软件来确定其对应的显著性水平。通常情况下我们选择一个显著性水平例如0.05如果计算得到的卡方统计量大于对应自由度和显著性水平的临界值就拒绝原假设认为观察到的频数与期望频数之间存在显著差异即变量之间存在关联或独立性被拒绝。
假设我们有一个二维列联表contingency table其中包含了两个分类变量的观测频数。表格如下所示
变量B0变量B1总计变量A0abab变量A1cdcd总计acbdabcd
其中a、b、c、d 分别表示四个格子中的观测频数。
卡方检验的原假设null hypothesis是变量A和变量B是相互独立的即它们之间没有显著关联。备择假设alternative hypothesis是变量A和变量B是相关联的即它们之间存在显著关联。
卡方检验的步骤如下
步骤 1计算期望频数expected frequencies
首先我们需要计算每个单元格的期望频数即在假设变量A和变量B是独立的情况下每个单元格中的预期频数。期望频数的计算公式如下 卡方检验中的期望频数是根据原假设变量A和变量B是独立的(这很重要来计算的。预期频数的计算采用了边际总频数和行、列边际频数的乘积。 假设变量A和变量B是独立的那么变量A的取值0或1与变量B的取值0或1之间应该没有关联。因此我们可以将总体中相应的比例应用于每个格子中的边际频数。 考虑到每个格子中的边际频数我们可以计算期望频数 E i j E_{ij} Eij其中 i 表示行索引j 表示列索引 E i j ( a b ) ( a c ) a b c d E_{ij} \frac{{(ab)(ac)}}{{abcd}} Eijabcd(ab)(ac) 这个计算公式的推导如下 首先我们考虑变量A的取值为0的情况。在这种情况下变量A0的概率是 a b a b c d \frac{{ab}}{{abcd}} abcdabab 是变量A0的边际频数abcd 是总体的边际频数。同样地变量B0的概率是 a c a b c d \frac{{ac}}{{abcd}} abcdac。由于我们假设变量A和变量B是独立的我们可以将这两个概率相乘得到变量A0且变量B0的联合概率 ( a b ) ( a c ) ( a b c d ) 2 \frac{{(ab)(ac)}}{{(abcd)^2}} (abcd)2(ab)(ac)。接下来我们将联合概率乘以总体的边际频数 ( a b c d ) (abcd) (abcd)以获得变量A0且变量B0的期望频数 E 00 E_{00} E00。因此我们得到了公式中的分子部分 ( a b ) ( a c ) a b c d \frac{{(ab)(ac)}}{{abcd}} abcd(ab)(ac)。类似地我们可以推导出其他格子的期望频数。 这样我们就得到了卡方检验中期望频数的计算公式。 需要注意的是期望频数是在原假设下计算的假设变量A和变量B是独立的。如果观测频数与期望频数之间存在显著差异那么我们将拒绝原假设认为变量A和变量B之间存在显著关联。 E i j ( a b ) ( a c ) a b c d E_{ij} \frac{{(ab)(ac)}}{{abcd}} Eijabcd(ab)(ac)
其中 E i j E_{ij} Eij 表示第 i 行第 j 列单元格的期望频数。这里的i 1, j 1)
步骤 2计算卡方统计量chi-square statistic
接下来我们计算卡方统计量用于衡量观测频数与期望频数之间的差异。卡方统计量的计算公式如下 χ 2 ∑ ( O i j − E i j ) 2 E i j \chi^2 \sum \frac{{(O_{ij} - E_{ij})^2}}{{E_{ij}}} χ2∑Eij(Oij−Eij)2
其中 χ 2 \chi^2 χ2 表示卡方统计量 O i j O_{ij} Oij 表示第 i 行第 j 列单元格的观测频数 E i j E_{ij} Eij 表示第 i 行第 j 列单元格的期望频数。
步骤 3计算自由度degrees of freedom
自由度是卡方统计量中可以自由变动的观测值的数量。在卡方检验中自由度的计算公式如下以在卡方分布表中查找对应的临界值或计算 p 值 自由度的公式是根据卡方检验中的二维列联表的维度来确定的。在二维列联表中行和列的数量分别为 r 和 c。 假设我们有一个 r 行 c 列的二维列联表。自由度的计算基于以下原则 在行方向上我们可以自由选择每个单元格的观测频数但是要满足行边际频数。在列方向上我们也可以自由选择每个单元格的观测频数但是同样要满足列边际频数。 因此对于每个单元格我们有一个自由度。总的自由度等于所有单元格的自由度之和。 在二维列联表中行和列的边际频数已知所以我们只需要确定每个单元格的观测频数。一旦我们选择了 r 行 c 列个单元格的观测频数其他单元格的观测频数就会被固定。 为了保持边际频数不变我们需要根据边际频数的限制条件来选择观测频数。对于二维列联表有两个限制条件一个是行边际频数另一个是列边际频数。 考虑到这些限制条件我们可以自由选择的单元格的个数为 (r-1) × (c-1)。这是因为一旦我们选择了其中一个单元格的观测频数改行列的其他单元格的观测频数将根据限制条件被固定。 d f ( r − 1 ) ( c − 1 ) df (r-1)(c-1) df(r−1)(c−1)
其中 r r r 表示行数 c c c 表示列数。
步骤 4计算 p 值p-value
我们根据卡方统计量和自由度计算 p 值。一种常用的方法是将卡方统计量与自由度对应的卡方分布进行比较并计算出落入更极端区域的概率。这可以通过查找卡方分布表或使用统计软件进行计算。在实际应用中通常使用软件包如Python的SciPy库或R语言中的stats包来计算 p 值。
根据给定的显著性水平significance level通常选择 p 值与显著性水平进行比较。如果 p 值小于显著性水平通常为0.05我们可以拒绝原假设认为变量A和变量B之间存在显著关联否则我们接受原假设认为变量A和变量B之间没有显著关联。 下面则是一个真实简单的案例来说明卡方检验的流程和原理 假设我们想研究男性和女性之间是否存在喜欢不同类型电影的差异。我们随机选择了100个男性和100个女性并记录了他们对三种类型电影的喜好A类、B类和C类。
观察到的频数如下 A类 B类 C类
男性 30 35 35
女性 45 25 30首先我们需要建立假设。在这里我们的原假设是“男性和女性对不同类型电影的喜好没有差异”。备择假设是“男性和女性对不同类型电影的喜好有差异”。
接下来我们计算期望频数。期望频数是基于原假设假设男性和女性对电影类型的喜好是独立的。我们可以通过公式计算期望频数如下 A类 B类 C类
男性 37.5 32.5 30
女性 37.5 32.5 30然后我们计算卡方统计量。卡方统计量衡量了观察频数与期望频数之间的差异我们可以计算出卡方统计量为
卡方统计量 [(30-37.5)²/37.5] [(35-32.5)²/32.5] [(35-30)²/30] [(45-37.5)²/37.5] [(25-32.5)²/32.5] [(30-30)²/30] ≈ 6.8最后我们需要确定卡方统计量的显著性水平。我们使用自由度来确定显著性水平在这个例子中自由度为 (2-1) × (3-1) 2。
我们可以使用卡方分布表或统计软件来查找卡方统计量对应的显著性水平。假设我们使用了显著性水平为0.05自由度为2我们发现卡方统计量的临界值为5.99。由于6.8 5.99我们可以拒绝原假设接受备择假设即男性和女性对不同类型电影的喜好存在差异。 临界值是在显著性水平下拒绝原假设的界限。如果观察到的卡方统计量大于临界值我们可以拒绝原假设。 到这里如果还有什么疑问欢迎私信博主问题哦博主会尽自己能力为你解答疑惑的如果对你有帮助你的赞是对博主最大的支持
