第七讲 统计分类(二)--贝叶斯分类器h

4、后验概率的获得：
后验概率是无法直接得到的，因此需要根据推理计 算，由已知的概率分布情况获得。
根据贝叶斯公式可得：
P( j x)
P( j ) p( x j )
P( j ) p(x j )
i 1
n

P( j ) p( x j ) p( x )
其中： p(x| ω j)为类ω j所确定的决策区域中，特征向量x出现 的概率密度，称为类条件概率密度，又称为似然函数。
Rai x 2 a ，ω P ω x ，i 1，， ，m
i j r j j 1
3. 从得到的m个条件风险中，选最小的。 即 若 Rak x min Rai x ，则采用决策 ak 。
i 1，， ，m 2
2、最小风险贝叶斯分类：
•最小风险贝叶斯判别规则：
Байду номын сангаас
p(x)为全概率密度，可由全概率公式计算得到。
以细胞识别为例：

细胞切片的显微图像经过一定的预处理后，抽取出d个特 征。每一细胞可用一个d维的特征向量x表示。希望根据x 的值分到正常类ω1或异常类ω2中去。 假定可以得到Pr（ω1）、Pr（ω2），[Pr（ω1）+ Pr （ω2） =1] ,和p(x|ω1)、p(x|ω2) 。 如果只有先验概率，那么合理的选择是把x分到Pr（ω1 ）、 Pr（ω2）大的一类中去。一般由于Pr（ω1）>Pr（ω2）， 这样就把所有的细胞分到了正常的一类。失去了意义。
t t r 2 r 1 t
2 r 2 1 r 1 t
r
2
2
r
1
1
R1
R2
• 要使Pr（e）是最小的，可从两个思路看： 1. 要使Pre Pre x px d x最小，使对每个x，Pr（e|x）都 要最小。所以取后验概率最大的。
2. 假如将分界面移到tt’点
p( x i ) p( x j )
ij＝
P( j ) P( i )
则最大似然比贝叶斯分类的判别规则可以表达为： 若 Lij>θij，则x ∈ ωk ，i、j=1,2,….c,
为评估分类错误的风险，引入以下概念： •行动αi：表示把模式x判决为ωi类的一次动作。
•损失函数λij=λ(αi|ωj)：表示模式x本来属于ωj类错 判为ωi所受损失
•条件平均风险（也叫条件期望损失）：对未知x采取一 个判决行动αi(x)所冒的风险（或所付出的代价）
R i x E i j i j P j x , i 1,2,...,a.(a M )
若R k x min R i x , 则x k
i 1, 2 ,..., c
0, i j时 用0 1函数 : ( j j ) ij 1, i j时 R( i x) ( i j ) P( j x) ij P( j x) P( j x)
M j 1


• 对于实际问题，最小风险的贝叶斯决策可按如下步 骤进行：
1. 根据Pr（ωj），p(x|ωj)，j=1，2，…，c，以及给出 的x，计算后验概率
Pr ωj x

c
p x ωj Prωj
px ωi Prωi
c i 1
，j 1，， ，c 2
2. 计算条件风险

统计学以数据为研究内容，但仅仅收集数 据，决不构成统计学研究的全部。

统计学是面对不确定情况寻求决策、制定 方法的一门科学
人力、财力、时间等的限制，只有部分或 少量数据，要推断所有数据的的特征 PR中的分类问题是根据识别对象特征的观 测值，将其分到相应的类别中去。


一、贝叶斯分类原理：
1、贝叶斯公式及其意义：
P( ABk ) P( Bk ) p( A Bk ) n P( Bk A) p( A) P( Bi ) p( A Bi )
i 1
P(Bk|A)是事件A发生时事件Bk发生的条件概率； P(Bk)是事件Bk发生的概率； p(A|Bk)是事件Bk发生时事件A发生的条件概率密度； p(A)是事件A发生的条件概率密度； •贝叶斯公式表达了两个相关事件在先后发生时的推理关系
i 1 j i j i M
1 P( i x) 后验概率 R( i x)最小，就相当于 ( i x)最大， P 这时便得到最小错误率 分类器。
2、最小风险贝叶斯分类：
例：已知正常细胞先验 概率为P (1 ) 0.9, 异常为P ( 2 ) 0.1, 从类条件概率密度分布 曲线上查的P ( x i ) 0.2, P( x i ) 0.4，
Prt e A B C
Prt e A B C D
∴ t应是错误率最小的分界点，相应的规则也是错误率最 小。
• 对于多类情况，最小错误率决策规则为：
若 或若
Pr ωi x max Pr ωj x ，则
j 1，， ，c 2


x ωi
Prωi px ωi max Prωj px ωj


• 如果有细胞的观测信息，那么可以改进决策的方法。为了 简单起见，假定 x 是一维的特征（如胞核的总光强度）。 p(x|ω1)和p(x|ω2)已知：
• 利用贝叶斯公式：
Pr ωi x

p x ωi Prωi
px ωi Prωi
2 i 1
• 得到的 Pr （ωi|x ） 称为状态（正常、异常）的后验概率。 上述的贝叶斯公式，通过观测到的x，把先验概率转换为后 验概率。
3、先验概率和后验概率：
•先验概率： 根据大量样本情况的统计，在整个特征空间中，任取 一个特征向量x，它属于类ωj 的概率为 P(ωj),也就是说， 在样本集中，属于类ωj 的样本数量于总样本数量的比值为 P(ωj)。我们称P(ωj)为先验概率。 显然，有： P(ω1)＋P(ω2)＋…… ＋P(ωc)＝1 •后验概率： 当我们获得了某个样本的特征向量x，则在x条件下样 本属于类ωj的概率P(ωj|x)称为后验概率。 后验概率就是我们要做统计判别的依据。
P(1 x) P( x 1 ) P(1 ) 0.2 0.9 0.818 0.2 0.9 0.4 0.1
P( x
j 1
2
j
) P( j )
P( 2 x) 1 P(1 x) 0.182,因为P(1 x) P( 2 x), x 1属正常细胞。 因为P(1 ) P( 2 ), 所以先验概率起很大作 . 用
r 1 r 2
当 P ω x P ω x
• 令t是两类的分界面，当x是一维时，即x轴上的一点。
Pre
P ω x px d x P ω x px d x px ω P ω d x px ω P ω d x P ω px ω d x P ω px ω d x Prω2 ε 2 Prω1 ε1
统计模式识别（二）
贝叶斯分类器
内容


贝叶斯分类的基本原理
最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布中的贝叶斯分类
回顾：

线性分类器设计思路 梯度下降法 感知器法
哈哈统计
有一个从没带过小孩的统计学家，因为妻子 出门勉强答应照看三个年幼好动的孩子。妻子回 家时，他交出一张纸条，写的是： “擦眼泪11次；系鞋带15次；给每个孩子吹 玩具气球各5次,累计15次；每个气球的平均寿命 10秒钟；警告孩子不要横穿马路26次；孩子坚持 要穿马路26次；我还要再过这样的星期六0次”。 统计学真的这样呆板吗？仅仅收集数据，整理 分析，累加平均…
11 0, 12 6, 21 1, 22 0
由上例中计算出的后验 概率：P (1 x) 0.818, P ( 2 x) 0.182 条件风险：R (1 x) 1 j P ( j x) 12 P( 2 x) 1.092
j 1 2
R ( 2 x) 21 P (1 x) 0.818 因为R(1 x) R ( 2 x) x 异常细胞,因决策1类风险大。 因12＝6较大，决策损失起决定 作用。
j 1，， ，c 2
则
x ωi
x ωi
2、最小风险贝叶斯分类：
最小错误率贝叶斯分类只考虑分类错误的概率最小，但 是，每次分类错误带来的损失是不一样的，例如： •要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中 可能出现以下情况： •第一类，判对(正常→正常) λ11 ；第二类，判错(正 常→肺病) λ21 ； •第三类，判对(肺病→肺病) λ22；第四类，判错(肺病 →正常) λ12 。
3、最大似然比贝叶斯分类：
在最小错误率贝叶斯分类中， P(ωk|x)＝max｛ P(ωj|x) ｝，则 x ∈ ωk
j＝1,2,……c
则有： P(ωk|x)> P(ωj|x),j=1,2,….c,j≠k; 即
P( k ) p( x k ) p( x )
>
P( j ) p( x j ) p( x )
,j=1,2,….c,j≠k;
P(k ) p(x k ) > P( j ) p(x j ) ,j=1,2,….c,j≠k; p( x k ) P ( j ) > ,j=1,2,….c,j≠k; p( x j ) P ( k )
3、最大似然比贝叶斯分类：
定义：
似然比 L ij＝ 判别阈值
第二类和第四类属于分类错误。 •显然，第四类错误带来的损失大于第二类错误带来的损失。
地震预报
预报为有震，要作准备，要付出代价，但地震没有发生； 预报为无震，但地震发生了，要遭受损失。