免费推广网站注册入口,网络推广托管公司深圳,网络系统工程师,软件下载网站建设一、极大似然估计
在上一笔记中#xff0c;经过推导#xff0c;得到了朴素贝叶斯分类器的表示形式#xff1a; yargmaxckP(Yck)∏jP(X(j)x(j)|Yck)(1)也就是说#xff0c;朴素贝叶斯方法的学习是对概率P(Yck)和P(X(j)x(j)|Yck)的估计。故可以用极大似然估计法估计上述先验…一、极大似然估计
在上一笔记中经过推导得到了朴素贝叶斯分类器的表示形式 yargmaxckP(Yck)∏jP(X(j)x(j)|Yck)(1) y = arg \max_{c_k} P(Y=c_k)\prod_jP(X^{(j)} = x^{(j)}| Y=c_k) (1) 也就是说朴素贝叶斯方法的学习是对概率P(Yck)P(Y=c_k)和P(X(j)x(j)|Yck)P(X^{(j)} = x^{(j)}| Y=c_k) 的估计。故可以用极大似然估计法估计上述先验概率和条件概率。 先验概率P(Yck)P(Y=c_k)的极大似然估计为
P(Yck)∑Ni1I(yick)N,k1,2,…,K
P(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}, k=1,2, \dots, K条件概率P(X(j)ajl|Yck)P(X^{(j)} = a_{jl}| Y=c_k) 的极大似然估计是
P(X(j)ajl|Yck)∑Ni1I(x(j)iajl,yick)∑Ni1I(yick)
P(X^{(j)} = a_{jl}| Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^{(j)} = a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)} 其中x(j)ix_i^{(j)}是第i个样本的第j个属性ajla_{jl}是第j个属性可能取l的值II是指示函数。将上述两个极大似然估计的值求出后，根据（1）式确定输入实例的分类。二、贝叶斯估计由（1）式可以得知，用极大似然估计可能导致估计出来的概率为0的情况，这会影响后验概率的计算结果，使得后验概率为0，解决这一问题的方法是采用贝叶斯估计。先验概率Pλ(Y=ck)P_{\lambda}(Y=c_k)的贝叶斯估计是 P(Yck)∑Ni1I(yick)λNKλP(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i=c_k)+\lambda}{N+K\lambda}条件概率Pλ(X(j)ajl|Yck)P_{\lambda}(X^{(j)} = a_{jl}| Y=c_k) 的极大似然估计是
Pλ(X(j)ajl|Yck)∑Ni1I(x(j)iajl,yick)λ∑Ni1I(yick)Sjλ
P_{\lambda}(X^{(j)} = a_{jl}| Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^{(j)} = a_{jl},y_i=c_k)+\lambda}{\sum_{i=1}^{N}I(y_i=c_k)+S_j\lambda}上式中λ≥0\lambda \ge 0等价于在随机变量各个取值的频数上加上一个正数λ0\lambda > 0。当λ0\lambda = 0时就是极大似然估计。取λ1\lambda = 1称为拉普拉斯平滑Laplace smoothing。
显然对于任何l1,2,…,Sj;k1,2,…,Kl =1,2, \dots,S_j; k=1,2 ,\dots,K有
Pλ(X(j)ajl|Yck)0P_{\lambda}(X^{(j)} = a_{jl}| Y=c_k) >0∑l1SjP(X(j)ajl|Yck)1\sum_{l=1}^{S_j}P(X^{(j)} = a_{jl}| Y=c_k) =1总结
朴素贝叶斯方法的原理和重点内容到目前用了三节内容就重点学习完了接下来会进一步学习跟贝叶斯相关的贝叶斯网络的内容。
