判别分析-贝叶斯判别 PPT课件

q2C(1/ 2) f2 (x) q1C(2 /1) f1(x) 0
f1(x) q2C(2 /1) f2 (x) q1C(1/ 2)
令 W (x) f1(x)
f2 ( x)
d q2C(1/ 2) q1C(2 /1)
Bayes判别准则为：
x G1 若v(x) d
x G2
若v(x) d
特别地，若
D1，D2，… ，Dk是R(p)的一个分划，判别法则为：
当样品X落入Di时，判 X Di i 1,2,3, ,k
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X Dj / Gi ) fi (x)dx i j
Dj
C(j/i)表示相应错判所造成的损失。
则平均错判损失为：
k
ECM qi C( j / i)P( j / i) i1 ji
使ECM最小的分划，是Bayes判别分析的解。
【定理】
若总体G1，G2，，Gk的先验概率为
qi ,i 1,2,3, ,k
且相应的密度函数为fi (x)，损失为C( j / i)时，
第五章 判别分析
判别分析是多元统计中用于判别样品所属类型 的一种统计分析方法。是一种在一些已知研究对象 用某种方法已经分成若干类的情况下，确定新的样 品的观测数据属于那一类的统计分析方法。
判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。
判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
（2）计算 ˆ A1 A2
n1 n2 2
（3）计算类的均值 1, 2
（4）计算
ˆ
1,
1
2
,
1
2
2
（5）计算 判别函数的系数 1(1 2 )
判别函数的常数项（
1
2
2）
1 ( 1
2
)
（6）生成判别函数，将检验样本代入，判类。
多总体的距离判别法
设有
k
个
m元总体 G1 ,
,Gk ，分别有均值向量
贝叶斯公式是一个我们熟知的公式
P(Bi
|
A)
P( A | Bi )P(Bi ) P( A | Bi )P(Bi )
设有总体 Gi (i 1,2, ,k) ， Gi 具有概率密度函 数 fi (x) 。并且根据以往的统计分析，知道 Gi出现的概 率为qi 。即当样本 x0 发生时，求 x0属于某类的概率。 由贝叶斯公式计算后验概率，有：
G1 ， G2 ，
如d 2 y，G1 d 2 y，G2 ， 如d 2 y，G2 d 2 y，G1
d 2 (y,G2 ) d 2 (y,G1)
(y 2 )21(y 2 ) (y 1)11(y 1)
3、当总体的协方差未知时，用样本的离差阵代替，
步骤如下：
（1）分别计算各组的离差矩阵A1和A2；
a1( y1 1) ap ( yp p ) αy αμ
其中 1 2
2
1(1 2 ) (a1, a2, , ap )
如果W（y） 0，则G1 G2，y G1,相反则y G2
因此有
y y
G1 ， G2 ，
如W（y） 如W（y）
0， 0。
2、当总体的协方差已知，但不相等
y y
W
(x)
2(x
)'
1
2
(1
2 )
其中 1 2
2
不妨设 1 2 ，则当 x 时， X GA
P(X 2 )
P(X 2
2
1
2
2
2 )
P(X 2
2
1
2
2
)
P( X 2 2 1 2 )
2
1 (1 2 ) 2
当两总体靠得比较近时，即两总体的均值 差异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义的， 因此只有当两总体的均值有明显差异时，进行 判别分析才有意义，为此，要对两总体的均值 差异性进行检验.
| i
|
1 2
(
x
(i
)
)i1
(
x
(i)
)
去掉与i无关的项，等价的判别函数为：
zi (x)
ln
qi
1 2
ln
|
i
|
1 2
(
x
(i)
)i1
(
x
(i
)
)
问题转化为若 Zl (x) m1iaxk [Zi (x)]，则判 x Gl 。 当协方差阵相等时
即1 k
判别函数退化为
zi (x) ln qi
qk
1 k
时
有 mi (x) 1 μ Σ μ (i) 1 (i) μ(i)Σ1x 2
完全成为距离判别法 。
二、 考虑错判损失的Bayes判别分析 设有总体 Gi (i 1,2, ,k) ，Gi具有概率密度函
数 fi (x)。并且根据以往的统计分析，知道 Gi 出现 的概率为 qi，(q1 qk 1) 。
距离判别简单直观，很实用，但是距离判别 的方法把总体等同看待，没有考虑到总体会以不 同的概率(先验概率)出现，也没有考虑误判之后 所造成的损失的差异。
一个好的判别方法，既要考虑到各个总体出 现的先验概率，又要考虑到错判造成的损失，贝 叶斯(Bayes)判别就具有这些优点，其判别效果 更加理想，应用也更广泛。
1ik
则 x判给Gl 。与标准Bayes判别等价
广义平方距离法
当错判概率
C(
j
/
i)
1 0
i j i j
定义样品X到总体Gi的广义平方距离为： Di2(X ) di2(X ) g1(i) g2(i), i 1, k
其中
g1 (i)
0ln，| Si
|,
若各组的协方差阵i不全相等， 若各组的协方差阵i全相等；
问题转化为若
Pl (x)
min[
1ik
Pi
(
x)]
，则判
x Gl
。
Pi (x)
2(ln
qi
1 μ(i)Σ1μ(i) 2
ቤተ መጻሕፍቲ ባይዱ
μ (i) Σ 1x)
令
mi (x)
ln
qi
1 μ Σ μ (i) 1 (i) 2
μ(i)Σ1x
问题转化为若 ml (x) m1iaxk [mi (x)]，则判 x Gl 。
当先验概率相等，即 q1
然后比较其大小，选取其中最小的，则判定样 品属于该总体。
下面在k=2的情形下，计算作为例子，我们讨论。
ECM (D1, D2 )
q1C(2 /1) f1(x)dx q2C(1/ 2) f2 (x)dx
D2
D1
q1C(2 /1) f1(x)dx q2C(1/ 2) f2(x)dx
R D1
按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。
距离判别法
判别准则：对于任给一次观测值，若它与第 i 类 的重心距离最近，就认为它来自于第 i 类。
马氏距离
d 2 (X ,Y ) (X Y )1(X Y ) d 2 (X ,G) (X )1(X )
两总体的距离判别
1、协方差相等
先考虑两个总体的情况，设有两个协差阵相同
归哪一类.
（取q1
q2
q3
1 ,C( 3
j | i)
1,i 0,i
j） j
P(好人 / 做好事）
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.2
0.18
0.5 0.9 0.5 0.2
练习：P211:5-1
贝叶斯判别法
一 、标准的Bayes判别
办公室新来了一个雇员小王，小王是好人还是坏 人大家都在猜测。按人们主观意识，一个人是好人或 坏人的概率均为0.5。坏人总是要做坏事，好人总是 做好事，偶尔也会做一件坏事，一般好人做好事的概 率为0.9，坏人做好事的概率为0.2，一天，小王做了 一件好事，小王是好人的概率有多大，你现在把小王 判为何种人。
和协方
i
差阵 i，对任给的m元样品 X，判断它来自哪个总体
计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
dl 2 ( X ) miin{di2 ( X )}
则 X Gl
错判概率
由上面的分析可以看出，马氏距离判别法是合理的，但是这并 不意谓着不会发生误判。
设两总体 GA， GB 分别服从 其线性判别函数为：
P(Gi
|
x0 )
qi fi (x0 ) q j f j (x0 )
判别规则
P(Gl
|
x0 )
ql fl (x0 ) q j f j (x0 )
max
1ik
qi fi (x0 ) q j f j (x0 )
则 x0判给Gl，在正态的假定下，fi (x)为正态分布的 密度函数。
下面讨论总体服从正态分布的情形
D1
q1C(2 /1) q1C(2 /1) f1(x)dx
D1
q2C(1/ 2) f2 (x)dx
D1
q1C(2 /1) [q2C(1/ 2) f2 (x) q1C(2 /1) f1(x)]dx
D1
由此可见，被积函数在D1是负数时，可使ECM 最小，则有分划
D1 x | q2C(1/ 2) f2 (x) q1C(2 /1) f1(x) 0
ql
fl
(x0
)
max
1ik
qi
fi
(x0 ),
则x0判给 Gl。
若fi
(x)
(2
1 i
)1
2
exp[
1 2
(x
(i)
)i
1 ( x
(i)
)]
则,
qi
fi
(
x)
qi
(2
1 i
)1
2
exp[
1 2
(
x
(i)
)i 1 ( x
(i)
)]
上式两边取对数 ln(qi fi (x))
ln
qi
1 ln 2
2
1 ln 2
划分的贝叶斯解为
Di
x
|
hi
(x)
min
1 jk
h
j
(x)
,
i 1,2,3, , k
其中
k
hj (x) qiC( j / i) fi (x)
i 1
含义是：当抽取了一个未知总体的样品值x， 要判别它属于哪个总体，只要先计算出k个按先验概 率加权的误判平均损失
k
hj (x) qiC( j / i) fi (x) i 1
的p维正态总体 G1和 G2，对给定的样本Y，判别一个
样本Y到底是来自哪一个总体，一个最直观的想法是 计算Y到两个总体的距离。我们用马氏距离来指定判 别规则，有：
y G1， 如d 2 y，G1 d 2 y，G2 ，
y
G2
，
如d 2 y，G2 d 2 y，G1
判别函数：
W (y) (y ) (y ）
C( j /i)
1 0
i j i j
k
hj (x) qiC( j / i) fi (x) i 1
k
hj (x) qi fi (x) i j
k
hj (x) qi fi (x) q j f j (x) i 1
hj
(x)
k
qi
fi
(x)
qj
f
j
(x)越小
q j f j (x)越大
i 1
ql fl (x) max qi fi (x),
g2 (i)
2ln 0，
|
qi
|,
若先验概率不全相等， 若先验概率全相等；
判别准则：
判X Gl , 当Dl2(X ) Di2(X )时(l i,i 1, , k)
练习：设三个总体 G1,G2 ,G3 的分布分别为
N (0,22 ) N (3,12 ) N (2,0.52 )
按广义平方距离准则判断样品 x 2.5 应判
1 (x μ(i) )Σ1(x μ(i) ) 2
1 [2 ln 2
qi
(x
μ(i)
)Σ 1 (x
μ(i) )]
令 Fi (x) 2ln qi (x μ(i) )Σ1(x μ(i))
2 ln qi x' Σ1x μ(i)' Σ1x x' Σ1μ(i) μ(i)' Σ1μ(i)
令 Pi (x) 2ln qi 2μ(i)Σ1x μ Σ μ (i) 1 (i)