防水网站建设,做网站负责人有法律风险吗,三室一厅二卫装修效果图,企业vis目录 基本概率论概率论公理随机变量 多个随机变量联合概率条件概率贝叶斯定理求和法则独立性 期望与方差小结 基本概率论
机器学习本质上#xff0c;就是做出预测。而概率论提供了一种量化和表达不确定性水平的方法#xff0c;可以帮助我们量化对某个结果的确定性程度。
在… 目录 基本概率论概率论公理随机变量 多个随机变量联合概率条件概率贝叶斯定理求和法则独立性 期望与方差小结 基本概率论
机器学习本质上就是做出预测。而概率论提供了一种量化和表达不确定性水平的方法可以帮助我们量化对某个结果的确定性程度。
在一个简单的图像分类任务中
如果我们非常确定图像中的对象是一只猫那么我们可以说标签为 “猫” 的概率是 1即 P ( y “猫” ) 1 P(y “猫”) 1 P(y“猫”)1;如果我们无法区分图像是猫还是狗那么我们可以说两者出现的概率相等即 P ( y “猫” ) P ( y “狗” ) 0.5 P(y “猫”) P(y “狗”) 0.5 P(y“猫”)P(y“狗”)0.5;如果我们对图像是否为猫不太确定我们可以将概率设置在一个介于 0.5 和 1 之间的值表示我们对其为猫的确定性程度不是完全的但比完全不确定要高。
这种概率的量化和比较使得我们可以更加客观和量化地评估和处理不确定性。
概率论公理
概率论名词
样本空间所有可能结果的集合事件给定样本空间的一个子集概率将集合映射到真实值的函数反映了事件发生的可能性
概率论公理
对于任意事件其概率从不会是负数整个样本空间的概率为 1对于互斥事件A、B、C互斥有 P ( A ∪ B ∪ C ) P ( A ) P ( B ) P ( C ) P(A∪B∪C)P(A) P(B) P(C) P(A∪B∪C)P(A)P(B)P(C)
随机变量
随机变量是将样本空间中的每个结果映射到一个实数集上的函数 e . g . e.g. e.g. 以掷一个六面的骰子为例其样本空间 S S S 包含所有可能的结果即 S { 1 , 2 , 3 , 4 , 5 , 6 } S \{1, 2, 3, 4, 5, 6\} S{1,2,3,4,5,6}。我们定义一个随机变量 X X X它将每个结果映射到一个实数。这里假设我们设定 X x 2 1 X x^21 Xx21其中 x x x 为骰子的结果。
那么我们可以计算出每个结果对应的 X X X 值
当 x 1 x1 x1 时 X x 2 1 2 X x^212 Xx212当 x 2 x2 x2 时 X x 2 1 5 X x^215 Xx215当 x 3 x3 x3 时 X x 2 1 10 X x^2110 Xx2110当 x 4 x4 x4 时 X x 2 1 17 X x^2117 Xx2117当 x 5 x5 x5 时 X x 2 1 26 X x^2126 Xx2126当 x 6 x6 x6 时 X x 2 1 37 X x^2137 Xx2137
因此离散随机变量 X X X 的可能取值为 {2, 5, 10, 17, 26, 37}在公平骰子的情况下每个结果出现的概率是相等的出现的概率都为 1 6 \frac 1 6 61。 多个随机变量
联合概率
联合概率 P ( A a , B b ) P(Aa, Bb) P(Aa,Bb) 描述的是事件 A A A 发生且事件 B B B 也发生的概率。具体来说它表示在所有可能的情况中事件 A A A 结果为 a a a 且事件 B B B 结果为 b b b 的这种情况出现的概率是多少。
隐含在这个概念中的概率定律是事件 A A A 和事件 B B B 同时发生的概率不会超过事件 A A A 或者事件 B B B 单独发生的概率。即 P ( A a , B b ) ≤ P ( A a ) P(Aa, Bb) ≤ P(Aa) P(Aa,Bb)≤P(Aa)。
条件概率
而联合概率不等式的变形 0 ≤ P ( A a , B b ) P ( A a ) ≤ 1 0 ≤ \frac {P(Aa, Bb)} {P(Aa)} ≤ 1 0≤P(Aa)P(Aa,Bb)≤1
这个比率称为条件概率并用 P ( B b ∣ A a ) P(Bb|Aa) P(Bb∣Aa) 来表示。他是 B b Bb Bb 的概率前提是 A a Aa Aa 已发生。
完整公式为 P ( B ∣ A ) P ( A B ) P ( A ) P(B|A)\frac {P(AB)} {P(A)} P(B∣A)P(A)P(AB)
贝叶斯定理
根据条件概率的定义我们可以得出统计学最有用的方程之一Bayes 贝叶斯定理。 P ( A ∣ B ) P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A|B) \frac{P(B|A) \cdot P(A)}{P(B)} P(A∣B)P(B)P(B∣A)⋅P(A)
贝叶斯定理的直观含义是当我们观察到事件 B B B 发生时事件 A A A 发生的概率会根据事件 B B B 发生的概率和对事件 A A A 和 B B B 相关性的了解而改变。贝叶斯定理是一种强大的工具可以帮助我们在有新的证据出现时更新我们对某个假设的信念。
求和法则
根据求和法则 P ( B ) ∑ A P ( A , B ) P(B)\sum_{A}P(A,B) P(B)A∑P(A,B) B B B 的概率相当于计算 A A A 的所有可能选择并将所有选择联合概率聚合在一起。
独立性
如果两个随机变量 A A A 和 B B B 是独立的意味着事件 A A A 的发生跟事件 B B B 的发生无关。根据贝叶斯定理马上就能得到 P ( A ∣ B ) P ( A ) P(A|B)P(A) P(A∣B)P(A)
独立性的一个常见例子是抛硬币。抛掷一枚公平的硬币事件 A A A 是出现正面事件 B B B 是出现反面。因为硬币的每一面出现都是相互独立的所以事件 A A A 发生不影响事件 B B B 发生的概率反之亦然。因此事件 A 和事件 B 是独立的。
独立性在统计学和概率论中非常有用它简化了我们对事件之间关系的理解。如果我们知道两个事件是独立的那么我们就可以将它们的概率分开来考虑而不需要考虑它们之间的任何关系。 期望与方差
期望描述了一个随机变量在多次重复实验中平均可能取得的值。 E x P [ f ( x ) ] ∑ x f ( x ) P ( x ) E_{x~P}[f(x)]\sum _x f(x)P(x) Ex P[f(x)]x∑f(x)P(x)
方差衡量的是随机变量分布中采样不同的 x x x 值时函数值偏离该函数的期望的程度。 V a r [ f ( x ) ] E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] Var[f(x)]E[(f(x)-E[f(x)])^2] Var[f(x)]E[(f(x)−E[f(x)])2] 小结
我们可以从概率分布中采样我们可以使用联合分布、条件分布、Bayes 定理、边缘化和独立性假设等来分析多个随机变量期望和方差为概率分布的关键特征的概括提供了实用的度量形式。 以上 本节概率论内容全部为理论知识。实践部分将在后续博文中逐步展现。
2024.2.15
