关于公司网站的建设的问卷,博客托管服务 wordpress,哪个网站看电视剧最全还免费,wordpress 批量定时发布文章目录 一、概率统计理论基础1、乘法公式2、全概率公式3、贝叶斯公式 二、贝叶斯决策理论1、用处2、解决问题3、决策基础4、一些概念5、核心公式 三、最小错误率贝叶斯决策1、目标2、例题分析3、问题1#xff09;决策的风险 四、最小风险贝叶斯决策1、背景2、基本概念1… 文章目录 一、概率统计理论基础1、乘法公式2、全概率公式3、贝叶斯公式 二、贝叶斯决策理论1、用处2、解决问题3、决策基础4、一些概念5、核心公式 三、最小错误率贝叶斯决策1、目标2、例题分析3、问题1决策的风险 四、最小风险贝叶斯决策1、背景2、基本概念1损失函数2条件期望损失3期望风险 3、目标4、决策5、算法步骤6、例题分析 五、两种贝叶斯的关系六、朴素贝叶斯决策1、问题2、概念3、例题分析 一、概率统计理论基础
1、乘法公式
设AB为任意事件 P ( A , B ) P ( A ∣ B ) ∗ P ( B ) P ( B ∣ A ) ∗ P ( A ) P(A,B) P(A|B)*P(B)P(B|A)*P(A) P(A,B)P(A∣B)∗P(B)P(B∣A)∗P(A)
2、全概率公式
设 A 1 , A 2 , … , A n A_1,A_2,…,A_n A1,A2,…,An两两互不相容且 B B B的发生总是与 A 1 , A 2 , … , A n A_1, A_2,…,A_n A1,A2,…,An之一同时发生则对于事件 B B B有 P ( B ) ∑ k − 1 n P ( A k ) P ( B ∣ A k ) P(B) \sum_{k-1}^nP(A_k)P(B|A_k) P(B)∑k−1nP(Ak)P(B∣Ak)
3、贝叶斯公式
知因求果 P ( A k ∣ B ) P ( A k B ) P ( B ) P ( A k ) P ( B ∣ A k ) ∑ i − 1 n P ( A i ) P ( B ∣ A i ) P(A_k|B)\frac{P(A_kB)}{P(B)}\frac{P(A_k)P(B|A_k)}{\sum_{i-1}^{n}P(A_i)P(B|A_i)} P(Ak∣B)P(B)P(AkB)∑i−1nP(Ai)P(B∣Ai)P(Ak)P(B∣Ak) 贝叶斯公式给出了“结果”事件B已经发生的条件下“原因”事件A的条件概率对结果的任何观测都将增加我们对原因事件A的真正分布的知识。
二、贝叶斯决策理论
1、用处
是机器学习/模式分类问题的基本理论之一 用概率统计的观点和方法基于贝叶斯公式来解决模式识别问题
2、解决问题
分类问题 给定m个类、已知类别属性的训练样本和未知类别属性的输入数据 目标确定每一个输入数据的类别属性
3、决策基础
已知条件 –类别数一定决策论中把类别也称为状态 ω i , i 1 , 2 , … , c ω_i ,i 1,2,…,c ωi,i1,2,…,c –已知各类在这d维特征空间的统计分布 各类别 ω i ω_i ωi i 1 , 2 , … , c i 1,2,…,c i1,2,…,c的先验概率 P ( x ∣ ω i ) P(x|ω_i) P(x∣ωi) i 1,2,…,c
决策根据贝叶斯公式计算后验概率 P ( ω i ∣ x ) P(ω_i|x) P(ωi∣x) 基于最大后验概率进行判决
4、一些概念
• 样本sample x ∈ R d x \in R^d x∈Rd • 类别/状态class/state w i w_i wi • 先验概率a priori probability or prior P ( w i ) P(w_i) P(wi) • 样本分布密度sample distribution density p ( x ) p(x) p(x) • 类条件概率密度class-conditional probabilitydensity p ( x ∣ w i ) p(x|w_i) p(x∣wi) • 后验概率a posteriori probability or posterior p ( w i ∣ x ) p(w_i|x) p(wi∣x) • 错误概率probability of error:
• 平均错误率average probability of error P ( e ) ∫ P ( e ∣ x ) p ( x ) d x P(e) \int P(e|x)p(x)dx P(e)∫P(e∣x)p(x)dx • 正确率probability of correctness P ( c ) P(c) P(c)
5、核心公式 P ( w i ∣ x ) P ( x ∣ w i ) P ( w i ) P ( x ) P ( x ∣ w i ) P ( w i ) ∑ i c P ( x ∣ w i ) P ( w i ) P(w_i|x)\frac{P(x|w_i)P(w_i)}{P(x)}\frac{P(x|w_i)P(w_i)}{\sum_{i}^{c}P(x|w_i)P(w_i)} P(wi∣x)P(x)P(x∣wi)P(wi)∑icP(x∣wi)P(wi)P(x∣wi)P(wi) 先验概率由以往历史数据得到的概率 后验概率利用最新输入数据对先验概率加以修正后的概率 以最大后验概率为判决函数样本在哪个类别概率大就属于哪个类别
三、最小错误率贝叶斯决策
1、目标 m i n P ( e ) ∫ P ( e ∣ x ) p ( x ) d x min \ \ P(e)\int P(e|x)p(x)dx min P(e)∫P(e∣x)p(x)dx
2、例题分析 3、问题
1决策的风险
不同的决策具有不同的风险或损失。 比如医疗诊断为例没病判为有病精神负担、可进一步检查损失不大。有病判为没病贻误病情后果严重。 最小错误率贝叶斯决策以错误率最小为准则未考虑决策的风险
四、最小风险贝叶斯决策
1、背景
根据最小错误率贝叶斯决策的问题进行改进
2、基本概念
1损失函数
损失函数对于特定的x采取决策 α \alpha α的期望损失 λ ( α i , w j ) \lambda(\alpha_i,w_j) λ(αi,wj)
2条件期望损失 R ( α i ∣ x ) E [ λ ( α i , w j ) ] ∑ j 1 c λ ( α i , w j ) p ( w j ∣ x ) R(\alpha_i|x)E[\lambda(\alpha_i,w_j)]\sum_{j1}^{c}\lambda(\alpha_i,w_j)p(w_j|x) R(αi∣x)E[λ(αi,wj)]∑j1cλ(αi,wj)p(wj∣x)
3期望风险
对所有可能的x采取决策 α ( x ) \alpha(x) α(x)所造成的期望损失之和 R ( α ) ∫ R ( α ∣ x ) p ( x ) d x R(\alpha)\int R(\alpha|x)p(x)dx R(α)∫R(α∣x)p(x)dx
3、目标 m i n R ( α ) ∫ R ( α ∣ x ) p ( x ) d x min \ \ \ R(\alpha)\int R(\alpha|x)p(x)dx min R(α)∫R(α∣x)p(x)dx 若对每一个决策都使其条件风险 R ( α i ∣ x ) R(\alpha_i|x) R(αi∣x)最小则对所有 x 做出决策时其期望风险 R 也最小
4、决策
如果 R ( α k ∣ x ) m i n R ( α i ∣ x ) R(\alpha_k|x) min \ \ R(\alpha_i|x) R(αk∣x)min R(αi∣x) 则 α α k \alpha \alpha_k ααk
5、算法步骤 6、例题分析
上题的细胞诊断
五、两种贝叶斯的关系 六、朴素贝叶斯决策
1、问题
贝叶斯决策的问题类条件概率 P ( x ∣ ω i ) P(x|ω_i) P(x∣ωi) 是所有属性上的联合概率难以从有限的训练样本直接估计得到。 因此需要用朴素贝叶斯决策
2、概念
属性条件独立性假设对于已知类别假设所有属性相互独立即假设各属性独立地对分类结果发生影响 P ( X ∣ w ) P ( x 1 , x 2 , x 3 , x 4 , . . . , x d ∣ w ) Π i 1 d P ( x i ∣ w ) P(X|w) P(x_1,x_2,x_3,x_4,...,x_d|w)Π_{i1}^dP(x_i|w) P(X∣w)P(x1,x2,x3,x4,...,xd∣w)Πi1dP(xi∣w)
3、例题分析
