判别分析(第3节_贝叶斯判别法1)

exp(0.5Di2 (x))
i 1
i 1
事实上，
就是马氏
距离d
2 i
(
x)
第三节 贝叶斯（BAYES）判别法
qi fi (x) (2 ) p/ 2 | i |1/ 2 qi exp(0.5di2 (x))
(2 ) p/2 exp(0.5ln | i |) exp(0.5 (2 ln qi )) exp(0.5di2 (x))
本章主要内容
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■ 贝叶斯判别法的基本思想 ● 问题引入 从第二节中可以看出：距离判别法虽然 简单，便于使用（对总体只涉及均值向量和协方差阵， 而对总体的分布类型不作要求）。但是该方法也有它 明显的不足之处： 首先，判别方法与总体各自出现的概率的大小无关； 其次，判别方法与错判之后所造成的损失无关。 贝叶斯判别法就是为了解决这些问题而提出的一种判 别方法。
是指先于我们抽取样本（做分析）之前，对总体“信息”的认知， 如：qi 是总体 Gi 出现的概率，其赋值方法可有一下常用方法：
① 利用历史资料及经验进行估计；
第三节 贝叶斯（BAYES）判别法
② 利用训练样本中各类样品所占比例 ni
k
n
作为 qi
；即
qi
ni n
则 qi 1 这时要求训练样本是通过随机抽样得到，各类样品被
k
qi 1 。假设已知观测到一个样品 x 的情况下，应把它归
i 1
于哪个总体 Gi ？
第三节 贝叶斯（BAYES）判别法
（1）首先看一下利用后验概率给出的一个判别准则。 观测到一个样品时，可用著名的Bayes公式计算它 来自第i个总体的“后验概率”：
P(x Gi | x)
qi fi (x)
选取时，它来源于总体 Gi 的概率P(Gi | X ) ，这个概率作为判别归
类的准则，其概率意义更加直观。现假定总体 Gi 的概率密度函数 为 fi (x)，由条件概率的定义可以导出所谓“贝叶斯公式”：
P( X Gi | X已知）=
qi fi (x)
k
qi fi (x)
i 1
其中，条件概率 P(Gi | X ) 称为X属于第i组（或第i个总体）的后验 概率。
(2 ) p/2 exp[0.5(di2 (x) ln | i | 2 ln qi )] (2 ) p/2 exp[0.5Di2 (x)]
所以，
P(X Gi | X已知）=
qi fi (x)
k
exp(0.5Di2 (x))
k
qi fi (x)
exp(0.5Di2 (x))
i 1
i 1
就是广义平 方距离Di2 (x)
第三节 贝叶斯（BAYES）判别法
● 先验概率（先知知识）
（1）先验概率概念 设有k个总体 G1,G2,.Gk ，假设对所研究的 问题有一定的认识，这种认识常用先验概率来描述，即已知这k个
k
总体各自出现的概率（先验概率）为：q1, q2,, qk ( qk 1) ，则称 i 1 q1, q2 , qk 为 G1,G2,,Gk 的先验概率。 （2）先验概率的确定方法 先验概率是一种权重。所谓“先验”
其中
g (i) 1
l0n，| i
|,
若各组协差阵 不全相等， i
若各组协差阵 全相等； i
g (i) 2
-2 ln 0，
|
q i
|,
若先验概率不全相等， 若先验概率全相等.
注：当总体协方差阵未知时，可用样本协差阵Si 代替 i 。
第三节 贝叶斯（BAYES）判别法
● 后验概率
标准的贝叶斯判别法应该计算后验概率分布，即计算当样品X被
采用后验概率的判别准则为：
判 X Gh , 当 P(Gh | X ) P(Gi | X ) 时，(i h,i 1,, k).
第三节 贝叶斯（BAYES）判别法
■ 贝叶斯判别准则 ● 基本问题 设有 k 个总体 G1,G2 ,,Gk ，其各自的分布密 度函数 f1(x), f2 (x), , fk (x) 互不相同的，假设 k 个总体各自 出 现 的 概 率 分 别 为 q1, q2 ,,qk （ 先 验 概 率 ）， qi 0 ，
k
,
i 1, 2,
,k
qi fi (x)
i 1
这时如果有
P(x Gh
|
x)
max
1hk
P(x Gh
|
x)
则判别样品 X 属于第 h 个总体
第三节 贝叶斯（BAYES）判别法
（2）利用错判损失最小原则给出判别准则
假设已知若将本来属于总体的样品错判到总体时造成
的 损 失 为 L(Gj | Gi ) ， k 个 总 体 各 自 分 布 密 度 函 数
第三节 贝叶斯（BAYES）判别法
◆例
若假设 Gi ~ N p (i , i ) ，且其密度函数 fi (x) 为
fi (x) (2 ) p/2 | i |1/2 exp[0.5( X i )1( X )]
P(X Gi | X已知）=
qi fi (x)
k
exp(0.5Di2 (x))
k
qi fi (x)
抽中i的1 机会大小就是“验前概率”；
③ 假定 q1 q2
qk
1 k
第三节 贝叶斯（BAYES）判别法
● 广义平方距离
设有k个总体G1,G2 , , Gk，考虑个先验概率及其各组内协差阵的
不同，定义样品X到 G (i 1, 2, i
, k) 的广义平方距离 D2(X ,Gi ) 定义为
D2 Βιβλιοθήκη BaiduX ,Gi ) d 2 (X ,Gi ) g1(i) g2 (i),
为 G1,G2 ,,Gk ，k个总体各自出现的概率分别为
q1, q2 ,,qk ，qi
0
k
， qi
1.
i 1
在这种的情形下，对于新的样品如何判断其来自哪
个总体？判断的准则函数该怎样确定？
第三节 贝叶斯（BAYES）判别法
下面我们对这一问题进行分析。首先应该清楚
L(Gi | Gi ) 0 ，L(Gi | Gi ) 0 ；对于任意的 i, j 1,2,, k 成 立 。 设 k 个 总 体 G1,G2 ,,Gk 相 应 的 p 维 样 本 空 间 为 R1, R2 ,, Rk ，即为一个划分，故我们可以简记一个判别规 则为 R (R1, R2 ,, Rk ) 。从描述平均损失的角度出发，如果 原来属于总体 Gi 且分布密度为 fi (x) 的样品，正好其取值落入 了 R j ，我们就将会错判为 X 属于 G j 。
第三节 贝叶斯（BAYES）判别法
● 贝叶斯统计思想 在讨论问题之前，总是假定对研究对象已有一定的认
识，这种认识常用先验概率分布来描述。然后抽取一个 样本，用样本信息来修正已有的认识（即先验概率分 布），得到后验概率分布。各种统计推断都通过后验概 率分布来进行。将贝叶斯统计思想应用于判别分析就得 到贝叶斯判别法。