城市门户网站策划书,影视自助建站官网,企业网站建设有几种,新手如何给自己的网站做优化许多简单的概率分布在机器学习的众多领域中都非常有用#xff0c;这个内容将分为两个部分来说明#xff0c;第一个部分介绍伯努利分布、二项式分布、多项式分布及范畴分布#xff0c;第二个部分介绍高斯分布、指数分布、Laplace分布、Dirac分布、经验分布及混合分布。
伯努…许多简单的概率分布在机器学习的众多领域中都非常有用这个内容将分为两个部分来说明第一个部分介绍伯努利分布、二项式分布、多项式分布及范畴分布第二个部分介绍高斯分布、指数分布、Laplace分布、Dirac分布、经验分布及混合分布。
伯努利(Bernoulli)分布
伯努利分布是一种离散分布有两种可能的结果
1表示成功出现的概率为ppp(其中0p10 \lt p \lt 10p1)。0表示失败出现的概率为q1−pq1-pq1−p。
这种分布在机器学习中很有用比如正面或反面成功或失败有缺陷或没有缺陷病人康复或未康复。 可以用数学描述为随机变量xxx只取0和1两个值其概率为
P(x1)pP(x 1) pP(x1)p, P(x0)1−pqP(x 0) 1 - p qP(x0)1−pq
数学期望和方差计算如下
E(x)1∗p0∗qpE(x) 1 * p 0 * q pE(x)1∗p0∗qpE(x2)12∗p02∗qpE(x^2) 1^2 * p 0^2 * q pE(x2)12∗p02∗qpD(x)E(x2)−[E(x)]2p−p2p(1−p)pqD(x) E(x^2) - [E(x)]^2 p - p^2 p(1-p) pqD(x)E(x2)−[E(x)]2p−p2p(1−p)pq
二项式(Binomial)分布
在nnn次独立重复的伯努利试验中设每次试验成功的概率为ppp。用xxx表示nnn重伯努利试验中成功的次数则xxx取值为{0,1,…,n}\{0, 1, \dots, n\}{0,1,…,n}中的一个。 对每一个k(0≤k≤n)k(0 \le k \le n)k(0≤k≤n)事件{xk}\{xk\}{xk}表示“nnn次试验成功恰好发生kkk次”随机变量xxx的离散概率分布即为二项分布Binomial Distribution。 典型例子为扔硬币硬币正面朝上概率为ppp, 重复扔nnn次硬币kkk次为正面的概率即为一个二项分布概率。 用概率表示如下
P(xk)n!k!(n−k)!pk(1−p)n−kP(x k) \frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}P(xk)k!(n−k)!n!pk(1−p)n−k
下图为不同参数下的二项式分布的图形
多项式(Multinomial)分布
多项式分布是二项式分布的推广。将二项式分布推广至多种状态就得到了多项式分布。举例说明如下
二项式分布扔硬币硬币正面朝上概率为ppp, 重复扔nnn次硬币kkk次为正面的概率。多项式分布扔骰子不同于扔硬币骰子有6个面对应6个不同的点数这样单次每个点数朝上的概率都是16\frac{1}{6}61对应p1p_1p1~p6p_6p6它们的值不一定都是16\frac{1}{6}61只要和为1且互斥即可比如一个形状不规则的骰子重复扔nnn次如果问有kkk次都是点数6朝上的概率。
更一般化的描述如下投掷nnn次骰子这个骰子共有6种结果输出1点出现概率为p1p_1p12点出现概率p2p_2p2…\dots…多项式分布给出了在nnn次试验中骰子1点出现k1k_1k1次2点出现k2k_2k2次3点出现k3k_3k3次…6点出现k6k_6k6次。这个结果组合的概率为: f(k1,k2,…,k6;n,p1,p2,…,p6)f(k_1, k_2, \dots, k_6;n, p_1, p_2, \dots, p_6)f(k1,k2,…,k6;n,p1,p2,…,p6) P(x1k1,x2k2,…,x6k6) P(x_1 k_1, x_2 k_2, \dots, x_6 k_6)P(x1k1,x2k2,…,x6k6) n!k1!k2!…k6!p1k1p2k2…p6k6 \frac{n!}{k_1!k_2! \dots k_6!}p_1^{k_1}p_2^{k_2} \dots p_6^{k_6}k1!k2!…k6!n!p1k1p2k2…p6k6, 约束条件为∑i16kin\sum_{i1}^{6} k_i n∑i16kin. 为了更加简化用Γ\GammaΓ函数来表示 f(k1,k2,…,k6;n,p1,p2,…,p6)f(k_1, k_2, \dots, k_6;n, p_1, p_2, \dots, p_6)f(k1,k2,…,k6;n,p1,p2,…,p6) Γ(∑i16ki1)∏i16Γ(ki1)∏i16piki\frac{\Gamma(\sum_{i1}^{6}k_i 1)}{\prod_{i 1}^{6}\Gamma(k_i 1)}\prod_{i 1}^{6}p_i^{k_i}∏i16Γ(ki1)Γ(∑i16ki1)∏i16piki. 【例题-1】同时投掷5枚骰子投掷出2个一点2个二点1个三点的概率是多大 【解答】 x1x_1x1x6x_6x6表示6个点的出现次数之和为n5n 5n5利用多项式分布组合概率公式有 P(x12,x22,x31,x40,x50,x60)P(x_1 2, x_2 2, x_3 1, x_4 0, x_5 0, x_6 0)P(x12,x22,x31,x40,x50,x60) 5!2!2!1!0!0!0!(16)2(16)2(16)1(16)0(16)0(16)0\frac{5!}{2!2!1!0!0!0!}(\frac{1}{6})^{2}(\frac{1}{6})^{2}(\frac{1}{6})^{1}(\frac{1}{6})^{0}(\frac{1}{6})^{0}(\frac{1}{6})^{0}2!2!1!0!0!0!5!(61)2(61)2(61)1(61)0(61)0(61)0 51296\frac{5}{1296}12965 【例题-2】同时投掷5枚骰子出现两对点数一样的概率是多少 【解答】 在【例题-1】的基础之上需要考虑x1x_1x1~x6x_6x6其中2个取21个取1有多少种
x1x_1x1x2x_2x2x3x_3x3x4x_4x4x5x_5x5x6x_6x6221000202100…\dots……\dots……\dots……\dots……\dots……\dots…
先从6个里面选择2个取2再从4个里面选出1个取1总共有C62C4160C_6^2C_4^1 60C62C4160种。 出现两对点数一样的概率为5∗601296\frac{5 * 60}{1296}12965∗60 25108\frac{25}{108}10825。
范畴(Categorical)分布
范畴分布又称为Multinoulli分布、类别分布它是多项式分布的一个特例。 抛一次骰子第xkx_kxk面朝上的概率这是Categorical分布。
小结几种分布的关系
将一个小球放入两个桶令变量 xxx 为第一个桶里面有的小球个数那么只有 0 个或者 1 个服从伯努利分布将 nnn个小球放入两个桶令变量 xxx 为第一个桶里面的小球个数那么最少可能有 0 个最多可能有 nnn个服从二项分布将一个小球放入 kkk个桶令变量 x{x1,x2,…,xk}x \{x_1, x_2, \dots, x_k\}x{x1,x2,…,xk} 为kkk个桶内的小球个数xxx是一个One-hot形式的向量因为这个小球只能在一个桶里面服从Categorical分布将 nnn个小球放入 kkk个桶令变量 x{x1,x2,…,xk}x \{x_1, x_2, \dots, x_k\}x{x1,x2,…,xk} 为kkk个桶内的小球个数xxx是一个向量元素和为 nnn服从多项分布。
