爱站工具包的主要功能,做水果的网站,信阳市网站建设,长沙黄页贝叶斯概率公式的组成
贝叶斯定理的概率公式#xff1a; P ( θ ∣ X ) P ( X ∣ θ ) P ( θ ) P ( X ) P(θ|X){P(X|θ)P(θ)\over{P(X)}} P(θ∣X)P(X)P(X∣θ)P(θ) 先验分布 P ( θ ) P(θ) P(θ) #xff1a;参数的先验分布是指在观测到新的数据之前#xff0c;根…贝叶斯概率公式的组成
贝叶斯定理的概率公式 P ( θ ∣ X ) P ( X ∣ θ ) P ( θ ) P ( X ) P(θ|X){P(X|θ)P(θ)\over{P(X)}} P(θ∣X)P(X)P(X∣θ)P(θ) 先验分布 P ( θ ) P(θ) P(θ) 参数的先验分布是指在观测到新的数据之前根据已有的知识或以往的经验对参数的估计。假如 P ( θ ) P(θ) P(θ) 为估计抛一次硬币中正面向上的概率我们在不知道硬币质地是否均匀的情况下是不能确定这个概率的分布是什么样的但可以利用经验推断比如一般硬币都是均匀的则可假设 P ( θ ) 0.5 P(θ)0.5 P(θ)0.5 。或者像在Beta分布这篇文章里说过Beta分布可以描述 概率的概率密度分布 那么也可以假定 P ( θ ) P(θ) P(θ) 服从Beta分布。 似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 已知参数的情况下观测数据的概率分布。以抛硬币来说在已知抛一次硬币正面向上的概率 θ θ θ 时可得抛n次硬币中 X X X 次正面向上的概率分布显然可以用二项分布来表示。 边缘概率 P ( X ) P(X) P(X) 也可称为全概率公式 P ( X ) ∑ θ P ( X ∣ θ ) P ( θ ) P(X)\sum_θP(X|θ)P(θ) P(X)∑θP(X∣θ)P(θ) P ( X ) P(X) P(X) 对后验分布的计算影响不大可以当成一个系数。因此 P ( X ∣ θ ) P ( X ) P(X|θ)\over{P(X)} P(X)P(X∣θ) 也可以看作一个调整因子后验分布调整因子✖️先验分布就是用观测数据将先验分布调整到更接近真实的分布 后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X) 后验分布是我们想通过贝叶斯定理得到的最终结果表示的是在观测到新数据后对于参数的重新评估。计算后验分布的过程简单来说就是在没有观测数据的时候我们根据已有的知识或以往的经验赋予了参数一个估计然后利用观测到数据再对先验分布进行更新最终得到后验分布即在事件 X X X 发生之后我们对参数 θ θ θ 的重新评估因为 P ( X ) P(X) P(X) 可以当成一个系数可得 P ( θ ∣ X ) ∝ P ( X ∣ θ ) P ( θ ) P(θ|X)∝P(X|θ)P(θ) P(θ∣X)∝P(X∣θ)P(θ)。
共轭先验与共轭分布
如果似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 可以使得先验分布 P ( θ ) P(θ) P(θ) 和后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X) 具有相同的分布则称该先验分布为此似然函数的共轭先验。同时称后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X) 和先验分布 P ( θ ) P(θ) P(θ) 为共轭分布。比如Beta分布是二项分布似然的共轭先验。
贝叶斯推断与共轭先验的作用
如果要求解待估计量 θ θ θ 可以利用贝叶斯推断但需要先明确以下两项一是要确定先验分布 P ( θ ) P(θ) P(θ) 二是要确定基于 θ θ θ 的观测数据 X X X 的分布即似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 。
但是通过贝叶斯推断的方法存在一些问题会使后验分布并不容易计算 为了找到最大的后验概率需要为每个 θ θ θ 计算一次后验概率 如果后验概率没有闭式解则只能通过数值优化的方法来求最优解 后验分布是处于动态更新过程中的也就是说某次试验得到的后验分布对于后续收集到的新观测数据而言又可以看作是一个先验分布。新的数据不断进来模型需要一直更新但贝叶斯推理中的计算量非常大因此如果能利用共轭先验计算会更加简便。
然而当我们知道后验分布和先验分布是共轭分布时就可以跳过使用 后验分布似然函数✖️先验分布 这步而直接利用先验分布来求得后验分布。
共轭分布举例
以抛硬币为例对于一枚质地不知是否均匀的硬币事先不知道抛一次正面向上的概率 θ θ θ 我们可以通过多次抛硬币实验中正面向上次数 X X X 次来估计 θ θ θ 即求后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X) 。
由贝叶斯推断可知为了求 P ( θ ∣ X ) P(θ|X) P(θ∣X) 需要知道
先验分布 P ( θ ) P(θ) P(θ) 即抛一次硬币正面向上的概率分布似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 即已知硬币正面向上概率后抛n次硬币中出现 X X X 次正面向上的概率分布。
先验分布 P ( θ ) P(θ) P(θ)
目前我们对 P ( θ ) P(θ) P(θ) 还一无所知但Beta分布可以描述 概率的概率密度分布 那么可以假设 P ( θ ) P(θ) P(θ) 服从Beta分布用Beta分布作为参数 θ θ θ 的先验分布概率密度函数表示为 f ( θ ; α , β ) 1 B ( α , β ) θ α − 1 ( 1 − θ ) β − 1 Γ ( α β ) Γ ( α ) Γ ( β ) θ α − 1 ( 1 − θ ) β − 1 ( 1 ) f(θ;\alpha,\beta){1\over{B(\alpha,\beta)}}θ^{\alpha-1}(1-θ)^{\beta-1}{{\Gamma(\alpha\beta)}\over{\Gamma(\alpha)\Gamma(\beta)}}θ^{\alpha-1}(1-θ)^{\beta-1} \ \ \ \ \ (1) f(θ;α,β)B(α,β)1θα−1(1−θ)β−1Γ(α)Γ(β)Γ(αβ)θα−1(1−θ)β−1 (1)
其中 α 、 β \alpha、\beta α、β 是已知的形状参数可以灵活控制图像的形状。
似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ)
对于似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 即已知硬币正面向上概率后抛n次硬币中出现 X X X 次正面向上的概率分布这个分布可以用二项分布来表示 P ( X ∣ θ ) ( n X ) θ X ( 1 − θ ) n − X n ! X ! ( n − X ) ! θ X ( 1 − θ ) n − X , X ∈ [ 0 , n ] P(X|θ)\binom{n}{X}θ^X(1-θ)^{n-X}{n!\over{X!(n-X)!}}θ^X(1-θ)^{n-X} \ , \ X∈[0,n] P(X∣θ)(Xn)θX(1−θ)n−XX!(n−X)!n!θX(1−θ)n−X , X∈[0,n]
假设此处出现 X k Xk Xk 次正面向上则似然函数 P ( X ∣ θ ) P(X|θ) P(X∣θ) 表示为 P ( k ∣ θ ) n ! k ! ( n − k ) ! θ k ( 1 − θ ) n − k ( 2 ) P(k|θ){n!\over{k!(n-k)!}}θ^k(1-θ)^{n-k} \ \ \ \ \ (2) P(k∣θ)k!(n−k)!n!θk(1−θ)n−k (2)
其中 θ 、 n 、 k θ、n、k θ、n、k 都是已知参数。
计算后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X)
由 P ( θ ∣ X ) ∝ P ( X ∣ θ ) P ( θ ) P(θ|X)∝P(X|θ)P(θ) P(θ∣X)∝P(X∣θ)P(θ) 及式 ( 1 ) 、 ( 2 ) (1)、(2) (1)、(2) 可得 P ( θ ∣ k ) ∝ Γ ( α β ) Γ ( α ) Γ ( β ) θ α − 1 ( 1 − θ ) β − 1 n ! k ! ( n − k ) ! θ k ( 1 − θ ) n − k ( 3 ) P(θ|k)∝{{\Gamma(\alpha\beta)}\over{\Gamma(\alpha)\Gamma(\beta)}}θ^{\alpha-1}(1-θ)^{\beta-1} {n!\over{k!(n-k)!}}θ^k(1-θ)^{n-k} \ \ \ \ \ (3) P(θ∣k)∝Γ(α)Γ(β)Γ(αβ)θα−1(1−θ)β−1k!(n−k)!n!θk(1−θ)n−k (3)
其中 Γ ( α β ) Γ ( α ) Γ ( β ) {\Gamma(\alpha\beta)}\over{\Gamma(\alpha)\Gamma(\beta)} Γ(α)Γ(β)Γ(αβ) 、 n ! k ! ( n − k ) ! {n!\over{k!(n-k)!}} k!(n−k)!n! 均与待估计参数 θ θ θ 无关因此 式 ( 3 ) (3) (3) 可进一步简化 P ( θ ∣ k ) ∝ θ α − 1 ( 1 − θ ) β − 1 θ k ( 1 − θ ) n − k θ α k − 1 ( 1 − θ ) β n − k − 1 ( 4 ) P(θ|k)∝θ^{\alpha-1}(1-θ)^{\beta-1} θ^k(1-θ)^{n-k}θ^{\alphak-1}(1-θ)^{\betan-k-1} \ \ \ \ \ (4) P(θ∣k)∝θα−1(1−θ)β−1θk(1−θ)n−kθαk−1(1−θ)βn−k−1 (4)
所以 P ( θ ∣ k ) P(θ|k) P(θ∣k)~ B e t a ( α k , β n − k ) Beta(\alphak,\betan-k) Beta(αk,βn−k)
在式 ( 4 ) (4) (4) 中令 α α k \alpha\alphak ααk 、 β β ( n − k ) \beta\beta(n-k) ββ(n−k) k k k 是n次抛硬币中正面向上(成功)的次数 n − k n-k n−k 是n次抛硬币中反面向上(失败)的次数
则式 ( 4 ) (4) (4) 相当于由新观测数据更新为 P ( θ ∣ k ) ∝ θ α − 1 ( 1 − θ ) β − 1 ( 5 ) P(θ|k)∝θ^{\alpha-1}(1-θ)^{\beta-1} \ \ \ \ \ (5) P(θ∣k)∝θα−1(1−θ)β−1 (5)
式 ( 5 ) (5) (5) 是不是很面熟这不就是Beta分布吗所以这里后验分布 P ( θ ∣ X ) P(θ|X) P(θ∣X) 和先验分布 P ( θ ) P(θ) P(θ) 为共轭分布这也是为什么前面说Beta分布是二项分布似然的共轭先验。
知道了后验分布与先验分布是共轭分布后就可以直接利用分布在给定观测数据的情况下推断未知参数 θ 的分布情况一般我们会选择后验分布概率密度函数曲线的峰值作为参数的估计值。
