机器学习-5-Bayes分类器

E , A, J
P( B y, M y ) P( B y M y ) 0.61 P( M y )
n n n
y y y
y y y
n n y
n y n
7.0E-9 1.3E-2 1.7E-4
机器学习基础-第五章Bayesian分类器
19
of
39
5.4贝叶斯网络
从这个例子中我们可以看出，需要计算的联 合概率分布P(B,E,A,M,J)上式包含25-1=31 个 参数，假设有n个二元变量，则需要的独立 参数数目为：2n-1，所以，直接使用联合概 率分布进行不确定性推理的计算复杂度很大 ，随着变量的个数呈指数级增长。因此，当 变量很多时，联合概率的获取、存储和运算 都变得相当困难。 基于以下原因，从而产生了贝叶斯网络： 全联合概率计算复杂性十分巨大 现实需要一种自然、有效的方式来捕捉和推 理——不确定性知识 变量之间的独立性和条件独立性可大大减少 为了定义全联合概率分布所需的概率数目。
自然状态 ┅ ω1 ω2 ┅ λ( ω 1 , α 1 ) λ( ω 2 , α 1 ) ┅ λ( ω 1 , α 2 ) λ( ω 2 , α 2 ) ⁞ ⁞ λ(ω1, αN) λ(ω2, αN) ⁞ ┅
4
ωN λ(ωN, α1) λ(ωN, α2) ⁞ λ(ωN, αN)
of
机器学习基础-第五章Bayesian分类器
39
决策αi风险： R i | x

N j 1
ij P j | x 总体风险： R(h) R h( x) | x Ex R( | x)
Bayes最 h* ( x) arg min R | x 优分类器： i Y 判别式模型(Discriminative Models)：根据训练数据集D直接估 计后验概率模型。



贝叶斯网络（Bayes Network）是由 美国加州大学的珀尔（J.Pearl）于 1985年首先提出的一种模拟人类推 理过程中因果关系的不确定性处理 模型。 在综合先验信息（领域知识）和数 据样本信息的前提下，还可避免只 使用先验信息可能带来的主观偏见 贝叶斯网络方法的不确定性表示基 本上是保持了概率的表示方式，可 信度计算也是概率计算方法，只是 在实现时，各具体系统根据应用背 景的需要采用各种各样的近似计算 方法。
机器学习基础-第五章Bayesian分类器
11
of
39
5.2
平滑处理：某个属性值在训练集中没有与某个类同时出现过，会出现问题。如： P(敲=清|好)=0/8=0 P(好|测试)=0
Laplacian Correction：令N表示训练集D中可能的类比数，Ni表示第i个属性可能的 取值数。
Di 1 P(i ) D N
机器学习基础-第五章Bayesian分类器
10
of
39
5.2
P(触=硬|好)=6/8=0.75
P(触=硬|坏)=6/9=0.667
2 0.679 0.574 1 p midu 0.697 | hao exp 1.959 2 2 0.129 2 0.129 2 0.679 0.496 1 p midu 0.697 | huai exp 1.203 2 2 0.195 2 0.195
16
of
39
5.4贝叶斯网络
建立联合分布模型， 如果问题域由n个 布尔变量描述，则 需要O(2n)的概率表 作为知识库， O(2n) 的时间处理这个表。 实际问题中实现较 为困难。
利用条件独立性-贝叶斯网络
Cavity Toothache Catch Weather 其联合概率分布 需要32元素
Cavity Toothache Catch
Weather
其联合概率分布 8个元素和4个 元素的表构造
of
机器学习基础-第五章Bayesian分类器
39
5.4贝叶斯网络
Alarm问题：Pearl教授家住在洛杉矶，那里地震和盗窃时有发生，教授家里装有警铃 ，发生地震和盗窃都有可能触发警铃，他的两个邻居Mary和John听到警铃响后可能 会打电话给他。一天，Pearl教授接到Mary的电话，说听到他家的警铃响了，Pearl教 授想知道他家遭盗窃的概率有多大？ B E A M J Probability 问题包含5个随机变量：盗窃(B)、地震(E)、 y n n y y 1.2E-4 警铃(A)、接到Mary的电话(M)、接到John y n n y n 5.1E-5 的电话(J)；假设均为布尔形变量：T or F. y y n n y 5.7E-6 y y y n n 8.5E-5 假设Pearl教授根据自己以往的经验对这5个 y y y y y 7.2E-6 变量的联合概率分布有如下的估计(如右图) n n n y n 9.1E-1 ，从联合概率分布P(B,E,A,M,J)出发，先计 n n n n y 2.6E-4 算边缘分布 P( B, M ) P( B, E, A, J , M )

xD P( x | i ) xD ln P( x | i )
i

贝叶斯估计： θ是随机向量，具有先 验概率分布
6
of
机器学习基础-第五章Bayesian分类器
39
5.2
应用贝叶斯决策时主要的困难是贝叶斯公式 类条件概率P(x|ωi)的估计。因为其是属性变 量的联合概率分布。 朴素贝叶斯分类器的判别准则：
D
P i P x | i P i d j P(i | x) P x | i P x P x j 1
mi P i D m
8
of
Di
机器学习基础-第五章Bayesian分类器
39
5.2
类条件概率分布-离散属性：
j m P x j | i i Di mi
假设空间(H)：先验概率分布P(ωi) ，类条件概率分布P(x| ωi) 求判别函数：ω i=h (x)
x1 2 是d维 x x 随机 向量 xd
决策 α1 α2 ⁞ αN
y是随机变量，(xT, y)服从 联合概率分布P(x, y)； D是由P(x, y)独立同分部产 生的样例集合
i = arg max xD ln P( x | i )

i
连续属性概率密度函数：
p( x | i )
N (i , i )
1 i = Di 1 Di
2 i
xDi
x
xDi
x x
i i
T
H i i ln li (i ) ln P( Di | i ) ln
P(好|测试)=0.038
P(坏|测试)=6.80X10-5 结论----好瓜
0.46 0.279 2 1 p tiang 0.46 | hao exp 0.788 2 2 0.101 2 0.101
2 0.46 0.154 1 p tiang 0.46 | huai exp 0.066 2 2 0.108 2 0.108
类条件概率分布-连续属性：
Dij
p x j | i
d
N i j , i j 2
h* ( x) arg max P i P x j | i
i
j 1
x j j 2 1 i j p x | i exp 2 i j 2 2 i j
父属性的确定方法： SPODE方法：假设所有属性都依赖于 同一个属性，称为超父属性(Super Parent)，通过模型选择的方法确定超 父属性。
y x
1
P(i | x) P i P x | i , px
j j 1
d
j

x
2
x
3
x
4
其中pxj是属性xj的父属性-依赖属性。
机器学习基础-第五章Bayesian分类器
机器学习基础
第五章贝叶斯判别器
智能科学与技术系
刘冀伟
1
1 2 3 4 5
贝叶斯决策论 朴素贝叶斯分类器 半朴素贝叶斯分类器 贝叶斯网络 EM算法
目录 CONTENT
已知-数据集合(D)：
D x1 , y1 , x2 , y2 ,
, xm , ym
xi1 2 xi where : xi ; xd i yi Y {1 , 2 , , N }
14
of
39
TAN(Tree Augmented naїve Bayes)则是最大带权生成树算法的基础上通过以下步 骤得出属性的依赖关系。
机器学习基础-第五章Bayesian分类器
15
of
39
AODE(Averaged ODE)方法：将每个属 性作为超父属性来构建SPODE，然后将这 些具有足够训练数据支撑的SPODE集成起 来作为最终结果。
P x | i =P x , x ,
1 2
, x | i
d
h* ( x) arg max P i P x j | i
i
j 1
d
条件独立性假设：对已知类别，假设所有属 性相互独立，即每个属性独立的对分类结果 发生影响。
已知训练数据集D： ω1类-{x11， x12 ，┅，x1m1}=D1 ω2类-{x21，x22 ，┅， x2m2}=D2 ⁞ ⁞ ⁞ ωN类-{xN1，xc2 ，┅，xcmc} =DN 先验概率分布：
Bayes最优分类器的核心问题是求取：P | x 通常已知若干个样本： ω1类-{x11， x12 ，┅，x1m1}=D1 ω2类-{x21，x22 ，┅， x2m2}=D2 D ⁞ ⁞ ⁞ ωN类-{xN1，xc2 ，┅，xcmc} =DN 生成式模型(Generative Models)： 先对联合概率P(x,ω)建模，然后再求 取后验概率模型。