二手房网站开发文档,创新能力建设资金网站,html5手机论坛网站模板,网站建设要准备什么资料概率基础——极大似然估计
引言
极大似然估计#xff08;Maximum Likelihood Estimation#xff0c;简称MLE#xff09;是统计学中最常用的参数估计方法之一#xff0c;它通过最大化样本的似然函数来估计参数值#xff0c;以使得样本出现的概率最大化。极大似然估计在各…概率基础——极大似然估计
引言
极大似然估计Maximum Likelihood Estimation简称MLE是统计学中最常用的参数估计方法之一它通过最大化样本的似然函数来估计参数值以使得样本出现的概率最大化。极大似然估计在各个领域都有着广泛的应用例如机器学习、生物统计学、金融等。本文将介绍极大似然估计的理论基础、公式推导过程并通过案例和Python代码进行实现和模拟以帮助读者更好地理解这一重要的概率基础知识。
理论及公式
极大似然估计的基本思想
极大似然估计的基本思想是在给定样本的情况下找到一个参数值使得观察到这个样本的概率最大。假设我们有一个参数为 θ \theta θ的模型记为 P ( X ∣ θ ) P(X|\theta) P(X∣θ)其中 X X X是样本 θ \theta θ是参数。那么 θ \theta θ的极大似然估计 θ ^ \hat{\theta} θ^可以通过最大化似然函数 L ( θ ) L(\theta) L(θ)来求得即 θ ^ arg max θ L ( θ ) \hat{\theta} \underset{\theta}{\arg \max} \, L(\theta) θ^θargmaxL(θ)
似然函数
似然函数 L ( θ ) L(\theta) L(θ)表示在给定参数 θ \theta θ 下观察到样本 X X X的概率密度函数或概率质量函数的乘积。对于连续型随机变量似然函数通常表示为概率密度函数的连乘积对于离散型随机变量似然函数通常表示为概率质量函数的连乘积。
对数似然函数
在实际应用中通常使用对数似然函数Log-Likelihood Function来简化计算因为连乘积的求导相对繁琐而连加的求导更加简单。对数似然函数 ℓ ( θ ) \ell(\theta) ℓ(θ) 定义为似然函数的自然对数 ℓ ( θ ) log L ( θ ) \ell(\theta) \log L(\theta) ℓ(θ)logL(θ)
极大似然估计的求解
要找到极大似然估计 θ ^ \hat{\theta} θ^我们需要对对数似然函数 ℓ ( θ ) \ell(\theta) ℓ(θ)求导并令导数等于零求解得到的解即为估计值。 d ℓ ( θ ) d θ 0 \frac{d\ell(\theta)}{d\theta} 0 dθdℓ(θ)0
例子
下面我们通过一个简单的例子来说明极大似然估计的应用。假设我们有一个硬币想要估计出正面朝上的概率 p p p。我们连续地抛掷这个硬币观察到正面朝上 k k k次总共抛掷了 n n n 次。我们希望通过这些观察结果来估计正面朝上的概率 p p p。
案例
极大似然估计硬币的正面朝上概率
假设我们连续抛掷一个硬币10次观察到有7次正面朝上和3次反面朝上。我们想要估计出正面朝上的概率 ( p )。根据二项分布的概率密度函数我们可以得到似然函数 L ( p ) ( 10 7 ) p 7 ( 1 − p ) 3 L(p) \binom{10}{7} p^7 (1-p)^3 L(p)(710)p7(1−p)3
我们可以求得对数似然函数 ℓ ( p ) log L ( p ) log ( 10 7 ) 7 log p 3 log ( 1 − p ) \ell(p) \log L(p) \log \binom{10}{7} 7 \log p 3 \log (1-p) ℓ(p)logL(p)log(710)7logp3log(1−p)
接下来我们对对数似然函数求导并令导数等于零求解得到的解即为估计值 p ^ \hat{p} p^。
Python模拟与绘图
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize_scalar# 定义对数似然函数
def log_likelihood(p, n, k):return np.log(np.math.comb(n, k)) k * np.log(p) (n - k) * np.log(1 - p)# 定义负对数似然函数因为 minimize_scalar 函数寻找最小值
def neg_log_likelihood(p, n, k):return -log_likelihood(p, n, k)# 模拟抛硬币实验
n_trials 10 # 抛硬币的总次数
k_heads 7 # 正面朝上的次数# 最大化对数似然函数来估计正面朝上的概率
result minimize_scalar(neg_log_likelihood, args(n_trials, k_heads), bounds(0, 1), methodbounded)
estimated_p result.x# 绘制结果
p_values np.linspace(0, 1, 100)
likelihoods [np.exp(log_likelihood(p, n_trials, k_heads)) for p in p_values]plt.plot(p_values, likelihoods)
plt.axvline(xestimated_p, colorr, linestyle--, labelEstimated p: {:.3f}.format(estimated_p))
plt.xlabel(p)
plt.ylabel(Likelihood)
plt.title(Likelihood Function)
plt.legend()
plt.show()以上代码首先定义了对数似然函数和负对数似然函数然后利用 minimize_scalar 函数来最大化对数似然函数并求解得到正面朝上概率 p ^ 0.7 \hat{p}0.7 p^0.7。根据图像可以看出估计的概率密度函数与观测数据的分布情况较为吻合。
结论
通过本文的介绍我们了解了极大似然估计的基本理论、推导过程并通过一个案例演示了如何使用Python实现对极大似然估计的模拟并绘制出相应的图像进行说明。
