Bayes判别

贾博婷
应用多元统计分析
♠ 两个总体的Bayes判别问题 问题: 设有两个总体G1 和G2 , 各自出现的概率为q1 和
q2 , 概率密度函数为f1 (x)和f2 (x). 对于一个新样品X, 要
判断它来自哪个总体?
贾博婷
应用多元统计分析
♠ 两个总体的Bayes判别问题 问题: 设有两个总体G1 和G2 , 各自出现的概率为q1 和
⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦
贾博婷
应用多元统计分析
(1) X(1)
⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ 1 − 1 ⎢ ⎥ ⎢ ⎥ ( 1 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ =⎢ , · · · · · · , X = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ (5)
0 0
(2) X(1)
⎡ ⎤ ⎡ ⎢ ⎥ ⎢ 0 −1 ⎢ ⎥ ⎢ ( 2 ) ⎥ ⎢ ⎢ ⎥ ⎢ =⎢ , · · · · · · , X = ⎢ ⎥ ⎢ ⎣ ⎦ ⎣ (4) −1 −2
(2) (X(i )
−X ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦
(2)
(2) )(X(i )
⎡ ⎢ 2/3 ⎢ ⎢ −X ) =⎢ ⎢ ⎣
0
1 ^− Σ 2
1/4
0 ⎥ ⎥ ⎥
1 ^− Σ 1
⎡ ⎢ 1 ⎢ ⎢ =⎢ ⎢ ⎣
0
0 10/3
⎡ ⎤ ⎢ 3/2 0 ⎥ ⎢ ⎥ ⎢ ⎥ ⎥ =⎢ ⎢ ⎥ ⎣ ⎦
0 4
1
1
贾博婷应用多元统计分析Σ1Σ2比较 Yj (X) (j = 1, 2)
1 1 ⇔ 比较 ln qj − p ln(2π) − 2 ln |Σj | − 1 (X − µj )′ Σ− j (X − µj ) 2 2 1 ⇔ 比较 ln qj − ln |Σj | − (X − µj )′ Σ− j (X − µj ) 2 2 ⏟ ⏞ Rj (X)
2
两个总体的先验概率分别为q1 和q2 , 则
Yj (X) = qj fj (X)
= qj (2π)−p /2 |Σj |−1/2 e − 2 (x−µj ) Σj
1
{︁
′
−1
}︁ (x−µj )
, j = 1, 2
贾博婷
应用多元统计分析
Σ1
Σ2
贾博婷
应用多元统计分析
Σ1
Σ2
比较 Yj (X) (j = 1, 2)
q1 = 5/9, q2 = 4/9
贾博婷
应用多元统计分析
(1) X(1)
⎡ ⎤ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ 1 − 1 ⎢ ⎥ ⎢ ⎥ ( 1 ) ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ =⎢ , · · · · · · , X = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ⎣ ⎦ (5)
0 0
(2) X(1)
⎡ ⎤ ⎡ ⎢ ⎥ ⎢ 0 −1 ⎢ ⎥ ⎢ ( 2 ) ⎥ ⎢ ⎢ ⎥ ⎢ =⎢ , · · · · · · , X = ⎢ ⎥ ⎢ ⎣ ⎦ ⎣ (4) −1 −2
贾博婷
应用多元统计分析
1 ′ −1 比较 Rj (X) = ln qj − 1 2 ln |Σj | − 2 (X − µj ) Σj (X − µj ), j = 1, 2
先验概率的赋值方法有 (1)利用历史资料及经验进行估计. (2)利用样本中各类样品占的比例作为估计值. (3)假定各类出现的概率都相等. 本例中, 利用方法(2)得到先验概率分别为
取事件A = {X已知}, 事件Bj = {X ∈ Gj }, 则后验概率为
P (j |X) = qj fj (X)
2 ∑︀ i =1
, j = 1, 2
qi fi (X)
令Yj (X) = qj fj (X) (j = 1, 2), 则 ⎧ ⎪ ⎪ 判 X ∈ G1 , 如果 Y1 (X) > Y2 (X) ⎪ ⎪ ⎪ ⎪ ⎨ ⇐⇒ ⎪ 判 X ∈ G2 , 如果 Y1 (X) < Y2 (X) ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ 待判, 如果 Y1 (X) = Y2 (X)
2
两个总体的先验概率分别为q1 和q2 , 则
贾博婷
应用多元统计分析
♠ 正态总体的Bayes判别函数 设G1 和G2 为正态总体, 其密度函数分别为 {︃ }︃ 1 −p / 2 −1/2 ′ −1 f1 (X) = (2π) |Σ1 | exp − (X − µ1 ) Σ1 (X − µ1 ) 2 {︃ }︃ 1 −p / 2 −1/2 ′ −1 f2 (X) = (2π) |Σ2 | exp − (X − µ2 ) Σ2 (X − µ2 )
⎡
⎤′ ⎡
⎢ 0 ⎥ 0 ⎥ ⎥ ⎢ ⎥ ⎥ ⎢ ⎥ ⎥ ⎢ ⎥ ⎥ ⎢ ⎥ = −1.79 10 ⎦ ⎣ 3 ⎦
3
⎤⎡
^ 1 | = 3/10 |Σ
^ 2 | = 1/6 |Σ
贾博婷
应用多元统计分析
Rj (X) = ln qj −
1 1 1 ln |Σj | − (X − µj )′ Σ− j (X − µj ), j = 1, 2 2 2
⎢ 0 ⎥ 1 5 1 3 1 ⎢ ⎢ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ R1 (X) = ln − × ln − ×⎢ ⎢ ⎢ ⎥ ⎣ ⎣ ⎦ 3 9 2 10 2 −5 0 ⎡ ⎤′ ⎡
2
贾博婷
应用多元统计分析
♠ 正态总体的Bayes判别函数 设G1 和G2 为正态总体, 其密度函数分别为 {︃ }︃ 1 −p / 2 −1/2 ′ −1 f1 (X) = (2π) |Σ1 | exp − (X − µ1 ) Σ1 (X − µ1 ) 2 {︃ }︃ 1 −p / 2 −1/2 ′ −1 f2 (X) = (2π) |Σ2 | exp − (X − µ2 ) Σ2 (X − µ2 )
判 别 分 析
贾博婷 吉林财经大学 统计学院
botingjia@
贾博婷
应用多元统计分析
♠ 在统计学中有两个大的学派: 经典学派(频率学派)和贝 叶斯学派. 利用经典学派进行统计推断时要使用到两种 信息: 总体信息和样本信息; 而贝叶斯学派认为, 除了上 述两种信息以外, 统计推断还应该使用第三种信息: 先 验信息.
贾博婷
应用多元统计分析
1 ′ −1 比较 Rj (X) = ln qj − 1 2 ln |Σj | − 2 (X − µj ) Σj (X − µj ), j = 1, 2
先验概率的赋值方法有 (1)利用历史资料及经验进行估计. (2)利用样本中各类样品占的比例作为估计值. (3)假定各类出现的概率都相等.
贾博婷
应用多元统计分析
Σ1
Σ2
比较 Yj (X) (j = 1, 2)
1 1 ⇔ 比较 ln qj − p ln(2π) − 2 ln |Σj | − 1 (X − µj )′ Σ− j (X − µj ) 2 2
贾博婷
应用多元统计分析
Σ1
Σ2
比较 Yj (X) (j = 1, 2)
1 1 ⇔ 比较 ln qj − p ln(2π) − 2 ln |Σj | − 1 (X − µj )′ Σ− j (X − µj ) 2 2 1 ⇔ 比较 ln qj − ln |Σj | − (X − µj )′ Σ− j (X − µj ) 2 2 ⏟ ⏞ Rj (X)
P (Bj |A ) = P (A |Bj )P (Bj )
n ∑︀ i =1
, j = 1, 2, · · · , n
P (A |Bi )P (Bi )
贾博婷
应用多元统计分析
♠ Bayes判别法的基本思想 将Bayes思想用于判别分析就得到Bayes判别法.
贾博婷
应用多元统计分析
♠ Bayes判别法的基本思想 将Bayes思想用于判别分析就得到Bayes判别法. 基本思想样品属于哪个总体的后验概率大, 就判断它属 于哪个总体.
贾博婷 应用多元统计分析
△
( )
P (Bj |A ) =
P (A |Bj )P (Bj )
2 ∑︀ i =1
, j = 1, 2
P (A |Bi )P (Bi )
贾博婷
应用多元统计分析
P (Bj |A ) =
P (A |Bj )P (Bj )
2 ∑︀ i =1
, j = 1, 2
P (A |Bi )P (Bi )
取事件A = {X已知}, 事件Bj = {X ∈ Gj }, 则后验概率为
P (j |X) = qj fj (X)
2 ∑︀ i =1
, j = 1, 2
qi fi (X)
贾博婷
应用多元统计分析
P (Bj |A ) =
P (A |Bj )P (Bj )
2 ∑︀ i =1
, j = 1, 2
P (A |Bi )P (Bi )
q2 , 概率密度函数为f1 (x)和f2 (x). 对于一个新样品X, 要
判断它来自哪个总体? 想法: 计算后验概率P (j |X) = P (X ∈ Gj |X已知), j = 1, 2, 并按照如下的判别准则判断. ⎧ ⎪ ⎪ 判 X ∈ G1 , 如果 P (1|X) > P (2|X) ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ 判 X ∈ G2 , 如果 P (1|X) < P (2|X) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ 待判, 如果 P (1|X) = P (2|X)
1
1
⎧ ⎪ ⎪ 判 X ∈ G1 , 如果 R1 (X) > R2 (X) ⎪ ⎪ ⎪ ⎪ ⎨ 判 X ∈ G2 , 如果 R1 (X) < R2 (X) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ 待判, 如果 R1 (X) = R2 (X)
贾博婷
应用多元统计分析
♣ 例: 已知9个样品分别来自两个2维正态总体, 观测数据 见下表. 利用Bayes判别法判断样品(0, 0)′ 属于哪一类. 类别 序号