Bayes基本思想与判别分析
第5章 判别分析_1
'
def
2W ( X )
其中
W ( X ) ( X X * )' S 1 ( X (1) X ( 2) ) 1 (1) * X ( X X ( 2) ) 2
则判别准则还可以写为:
判 X G1 , 当W ( X ) 0时 判 X G2 , 当W ( X ) 0时
(2) < (1) ) , 令
(x )
(1) 2
2 1
(x )
( 2) 2
2 2
(1) 2 ( 2) 1 x 1 2
def
*
判 X G1 , x * 而按这种距离最近的判别准则为: 判 X G2 , x *
因只有一个指标,这时判别函数为:Y=Y(x)=x.此例中 * =79,因
表5.1 盐泉的特征数值 K· 3/Cl Br· 3/Cl K· 3/ 盐 10 10 10 (X1) (X2) (X3) 13.85 22.31 28.82 15.29 28.79 2.18 3.85 11.40 3.66 12.10 8.85 28.60 20.70 7.90 3.19 12.40 16.80 15.00 2.79 4.67 4.63 3.54 4.90 1.06 0.80 0.00 2.42 0.00 3.38 2.40 6.70 2.40 3.20 5.10 3.40 2.70 7.80 12.31 16.18 7.50 16.12 1.22 4.06 3.50 2.14 5.68 5.17 1.20 7.60 4.30 1.43 4.43 2.31 5.02
判别分析是用于判别样品所属类型的一种统计分析方
法,是根据表明事物特点的变量值和它们所属的类,求出判
bayes判别法
bayes判别法Bayes判别法Bayes判别法是一种基于贝叶斯定理的分类方法，它通过计算样本在各个类别下的后验概率来进行分类。
Bayes判别法在模式识别、机器学习和统计学等领域中得到了广泛应用。
一、贝叶斯定理贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下，某个事件发生的概率。
假设A和B是两个事件，P(A)和P(B)分别表示它们各自发生的概率，则有：P(A|B)=P(B|A)×P(A)/P(B)其中，P(A|B)表示在事件B发生的条件下事件A发生的概率，称为后验概率；P(B|A)表示在事件A发生的条件下事件B发生的概率，称为似然函数；P(A)和P(B)分别表示事件A和事件B独立发生的概率。
二、Bayes判别法原理Bayes判别法是一种基于贝叶斯定理的分类方法。
假设有n个样本，每个样本可以被分为k类。
对于一个新样本x，我们需要将其归入其中一类。
Bayes判别法采用后验概率最大化准则进行分类，即将x归为后验概率最大的那一类。
具体地，对于一个新样本x，我们需要计算其在每个类别下的后验概率P(ci|x)，然后将x归为后验概率最大的那一类。
其中，ci表示第i类。
根据贝叶斯定理，我们可以将P(ci|x)表示为：P(ci|x)=P(x|ci)×P(ci)/P(x)其中，P(x|ci)表示在第i类下样本x出现的概率，称为类条件概率；P(ci)表示第i类出现的概率，称为先验概率；P(x)表示样本x出现的概率。
由于对于一个新样本来说，其出现的概率是相同的，因此可以忽略分母部分。
因此，我们只需要比较每个类别下的P(x|ci)×P(ci)，并选择最大值所对应的类别作为分类结果。
三、Bayes判别法实现Bayes判别法可以通过训练样本来估计先验概率和类条件概率。
具体地，在训练阶段中，我们需要统计每个类别下每个特征取值出现的次数，并计算相应的先验概率和类条件概率。
具体地：1. 先验概率先验概率指在没有任何信息或者证据的情况下，每个类别出现的概率。
判别分析
判别分析判别分析是用以判别个体所属群体的一种统计方法。
最常用的判别方法：距离判别法、Bayes 判别法、Fisher 判别法。
1、距离判别法最为直观，其想法简单自然，就是计算新样品x 到各组的距离，然后将该样品判为离它距离最近的那一组。
定义：设组π的均值为μ，协方差矩阵为∑，x 是一个样品(样本)，称()()μμπ-∑'-=-x x x d 1),(为x 到总体π的马氏距离或统计距离。
判别准则：不妨假设有k 组，记为k ππ...1，，均值分别为k μμ...1，，协方差矩阵分别为k ∑∑...,1，，若),(min ),(212i ki l x d x d ππ≤≤=，则判断x 来自第l 组。
注1：若k ∑==∑...1，上述准则可以化简，如果不确定是否相等，可两种情况都试试，那种规则误判概率小选哪种。
注2：实际中k μμ...1，以及k ∑∑...,1，均未知，用估计量代替。
2、Bayes 判别法(1)最大后验概率准则设有k 个组k ππ...1，，且组i π的概率密度为()x f i ，样品x 来自组i π的先验概率为,,...,1,k i p i =且.11=∑=ki i p 利用Bayes 理论，x 属于i π的后验概率(即当样品x 已知时，它属于i π的先验概率)为()().,...,2,1,)(1k i x f p x f p x P k j j j i i i ==∑=π最大后验概率法是采用如下的判别规则：()x P x P x l ji l l πππ≤≤=∈1max )(,若. (2)最小平均误判代价准则()()()()∑∑≠=≤≤≠==∈ki j j j j k i j k l j j j l j i c x f p j l c x f p x 111m i n ,若π，其中)(j i c 表示将来自j π的x 判为i π的代价。
例：设有321,,πππ三个组，欲判别某样品0x 属于何组，已知()()().4.2,63.0,10.0,30.0,65.0,05.0030201321======x f x f x f p p p 计算：()()004.04.230.063.065.010.005.010.005.0)(1111=⨯+⨯+⨯⨯==∑=k j j j x f p x f p x P π ()361.02=x P π()635.03=x P π假定误判代价矩阵为95.4110063.065.020010.005.0:305.36504.230.01010.005.0:239.51604.230.02063.065.0:1=⨯⨯+⨯⨯==⨯⨯+⨯⨯==⨯⨯+⨯⨯=l l l 3、Fisher 判别基本思想：先对原始数据进行降维，然后对新数据使用距离判别法进行判别。
Bayes的基本思想和判别分析
则认为Qi较小,接受H0；否则拒绝H0。
Σ ˆS(n1(1n )1 S 1 n2(n 22 )1)S2
检验两总体协方差矩阵是否相等():程序
apf=[];
af=[];
n1=6;n2=9;p=2;
%2个总体，2维变量，15个样本
k
maxP(x j
|
Gj
)
,判
x
Gi
p j P(x | Gj ))
j 1
后验概率
先验概率
P( Ai
|
B)
P( Ai B) P(B)
P( Ai )P(B | Ai )
k
---Bayes(逆概)公式
P( Aj )P(B | Aj )
j 1
4
贝叶斯判别准则
寻找空间 Rp {(x1, x2,, xp )T | xk R} 最优划分： Rp R1R2 Rp, RiRj , i j
n1=size(G1,1);
%总体G1的样本数
n2=size(G2,1);
%总体G2的样本数
n=n1+n2;
%两个总体合并的样本数
p=4;
%p为总体维数
s1=cov(G1); s2=cov(G2);
s=((n1-1)*s1+(n2-1)*s2)/(n1+n2-2); %联合协方差矩阵
协方差矩阵相等的Bayes判别准则
xx G G12,,
当w1(x)w2(x) 当w1(x)w2(x)
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
w j(x ) (x (j)) S 1 x 1 2(x (j))T S 1 x (j) ln p j d ˆ2 j(x ) (x μ j ) S 1 (x μ j ) 2 ln p j
判别分析-贝叶斯判别
判归哪一类（取. q1
q2
q3
1 ,C( 3
j
|
i)
1,i 0,i
j） j
P(好人 / 做好事）
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.9
0.82
0.5 0.9 0.5 0.2
P(坏人 / 做好事）
P坏人P做好事 / 坏人 P好人P(做好事 / 好人) P(坏人)P(做好事
/
坏人)
0.5 0.2
0.18
0.5 0.9 0.5 0.2
D1，D2，… ，Dk是R(p)的一个分划，判别法则为：
当样品X落入Di时，判 X Di i 1,2,3,,k
关键的问题是寻找D1，D2，… ，Dk分划，这 个分划应该使平均错判率最小。
【定义】（平均错判损失）
用 p( j / i) 表示将来自总体Gi的样品错判到总体 Gj的条件概率。
p( j / i) P( X Dj / Gi ) fi (x)dx i j
1 (x μ(i) )Σ1(x μ(i) ) 2
1 [2 ln 2
qi
(x
μ(i)
)Σ 1 (x
μ(i) )]
令 Fi (x) 2ln qi (x μ(i) )Σ1(x μ(i))
2 ln qi x' Σ1x μ(i)' Σ1x x' Σ1μ(i) μ(i)' Σ1μ(i)
令 Pi (x) 2ln qi 2μ(i)Σ1x μ Σ μ (i) 1 (i)
D1
q1C(2 /1) q1C(2 /1) f1(x)dx
D1
q2C(1/ 2) f2 (x)dx
第4章 判别分析
X G1 , X G2 ,
如果 如果
D 2 ( X, G1 ) D 2 ( X, G2 ) D ( X, G1 ) D ( X, G2 )
2 2
（4.4）
这个判别规则的等价描述为：求新样品X 到 G1 的距离与到
G2 的距离之差，如果其值为正，X 属于G2；否则 X 属于G1。
0) 的总体 G
中的 p 维样本，则总体 G 内两点 X 与 Y 之间的马氏距离定 义为 (4.2) D2 (X, Y) (X Y)Σ1 (X Y) 定义点 X 到总体 G 的马氏距离为 (4.3) D2 (X, G) (X μ)Σ1 (X μ) 这里应该注意到，当 Σ I （单位矩阵）时，马氏距离即退 化为欧氏距离。
我们考虑
D2 (X, G1 ) D2 (X, G2 )
( X μ1 )Σ 1 ( X μ1 ) ( X μ 2 )Σ 1 ( X μ 2 ) ( XΣ 1X 2XΣ 1μ1 μ1Σ 1μ1 ) ( XΣ 1X 2 XΣ 1μ 2 μ Σ 1μ 2 ) 2 2XΣ 1 (μ 2 μ1 ) μ1Σ 1μ1 μ Σ 1μ 2 2 2XΣ 1 (μ 2 μ1 ) (μ1 μ 2 )Σ 1 (μ1 μ 2 )
把这类问题用数学语言来表达，可以叙述如下：
设有n 个样品，对每个样品测得 p 项指标（变量）的数 据，已知每个样品属于 k 个类（或总体）G1，G2， …，Gk 中的某一类，且它们的分布函数分别为 F1(x)，F2(x)， …，
Fk(x)。我们希望利用这些数据，找出一种判别函数，使得这
一函数具有某种最优性质，能把属于不同类别的样本点尽可 能地区别开来，并对测得同样 p 项指标（变量）数据的一个 新样品，能判定这个样品归属于哪一类。
实验报告Bayes判别
实验十一Bayes判别实验目的和要求掌握Bayes判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS过程解决有关实际问题.实验要求:编写程序，结果分析．实验内容：5.4 5.5 选一题data examp5_4。
input group $ x1-x7 @@。
cards。
G1 6.6 39 1.0 6.0 6 0.12 20G1 6.6 39 1.0 6.0 12 0.12 20G1 6.1 47 1.0 6.0 6 0.08 12G1 6.1 47 1.0 6.0 12 0.08 12G1 8.4 32 2.0 7.5 19 0.35 75G1 7.2 6 1.0 7.0 28 0.30 30G1 8.4 113 3.5 6.0 18 0.15 75G1 7.5 52 1.0 6.0 12 0.16 40G1 7.5 52 3.5 7.5 6 0.16 40G1 8.3 113 0.0 7.5 35 0.12 180G1 7.8 172 1.0 3.5 14 0.21 45G1 7.8 172 1.5 3.0 15 0.21 45G2 8.4 32 2.0 9.0 10 0.35 75 G2 8.4 32 2.5 4.0 10 0.35 75 G2 6.3 11 4.5 7.5 3 0.20 15 G2 7.0 8 4.5 4.5 9 0.25 30 G2 7.0 8 6.0 7.5 4 0.25 30 G2 7.0 8 1.5 6.0 1 0.25 30 G2 8.3 161 1.5 4.0 4 0.08 70 G2 8.3 161 0.5 2.5 1 0.08 70 G2 7.2 6 3.5 4.0 12 0.30 30 G2 7.2 6 1.0 3.0 3 0.30 30 G2 7.2 6 1.0 6.0 5 0.30 30 G2 5.5 6 2.5 3.0 7 0.18 18 G2 8.4 113 3.5 4.5 6 0.15 75 G2 8.4 113 3.5 4.5 8 0.15 75 G2 7.5 52 1.0 6.0 6 0.16 40 G2 7.5 52 1.0 7.5 8 0.16 40 G2 8.3 97 0.0 6.0 5 0.15 180 G2 8.3 97 2.5 6.0 5 0.15 180 G2 8.3 89 0.0 6.0 10 0.16 180 G2 8.3 56 1.5 6.0 13 0.25 180 G2 7.8 172 1.0 3.5 6 0.21 45run。
Bayes判别
§5.2Bayes 判别1. Bayes 判别的基本思想假设已知对象的先验概率和“先验条件概率”, 而后得到后验概率, 由后验概率作出判别.2. 两个总体的Bayes 判别 (1) 基本推导设概率密度为1()f x 和2()f x 的p 维总体12,G G 出现的先验概率为1122(),()p P G p P G ==(121p p +=)先验概率的取法: (i) 1212p p ==, (ii) 12121212,n n p p n n n n ==++,一个判别法 = 一个划分=12(,)R R =R1212,,p R R R R =⋃=⋂=∅R距离判别中112212{|(,)(,)}{|(,)(,)}R d G d G R d G d G =≤=>x x x x x x判别R 下的误判情况讨论21(2|1,)()d R P f =⎰R x x ,或12(1|2,)()d R P f =⎰R x x代价分别记为(2|1),(1|2),(1|1)0,(2|2)0c c c c ==, 在得新x 后, 后验概率为1111122()(|)()()p f P G p f p f =+x x x x2221122()(|)()()p f P G p f p f =+x x x x(i) 当(1|2)(2|1)c c c ==时, 最优划分是112212{:(|)(|)}{:(|)(|))}R P G P G R P G P G =≥⎧⎨=<⎩x x x x x x 两个总体的Bayes 的判别准则112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈<⎩x x x x x x 此时, 有最小的误判概率*12(2|1,)(1|2,)p p P p P =+R R .因为21*1122()d ()d R R p p f p f =+⎰⎰x x x x111122(1()d )()d R R p f p f =-+⎰⎰x x x x()112211()()d R p p f p f =+-⎰x x x只有取12211{:()()}R p f p f =≤x x x 时, 才有最小. (ii) 当(1|2)(2|1)c c ≠时对1G 的误判平均损失: (1,)(2|1)(2|1,)l c P R =R , 对2G 的误判平均损失:(2,)(1|2)(1|2,)l c P R =R , 对整个误判的平均损失:12(1,)(2,)L p l p l =+R R12(2|1)(2|1,)(1|2)(1|2,)c p P R c p P R =⋅⋅+⋅⋅可证使L 最小的最优划分是1112221122{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c p f c p f R c p f c p f =≥⎧⎨=<⎩x x x x x x 或112212{:(2|1)(|)(1|2)(|)}{:(2|1)(|)(1|2)(|))}R c P G c P G R c P G c P G =≥⎧⎨=<⎩x x x x x x 当12p p =时, 有112212{:(2|1)()(1|2)()}{:(2|1)()(1|2)()}R c f c f R c f c f =≥⎧⎨=<⎩x x x x x x 当12p p =, 且时(1|2)(2|1)c c c ==, 有 112212{:()()}{:()()}R f f R f f =≥⎧⎨=<⎩x x x x x x 相当于经典统计学中的似然比准则判别.(2) 两个正态总体的Bayes 判别 1) 12==ΣΣΣ的判别112212,()(),()()G if W W G if W W ∈≥⎧⎨∈<⎩x x x x x x 其中111222(),()T TW b W b ++x a x x a x ,及 111111111,2ln TT T b p --+-a μΣμΣμ122122221,2ln T T T b p --+-a μΣμΣμ 实用中, 用样本均值和样本协方差阵代.替.当1212p p ==时, 与距离判别等价. 如用后验概率来判别(或其估计), 则有112212,(|)(|),(|)(|)G if P G P G G if P G P G ∈≥⎧⎨∈≥⎩x x x x x x .1) 12≠ΣΣ的判别与距离判别的区别为广义平方距离函数21111111()()()ln 2ln((2|1))T d c p -=--+-x x μΣx μΣ,21222222()()()ln 2ln((1|2))T d c p -=--+-x x μΣx μΣ推导过程略.当 “三同”时, 与距离判别一样.(3) 误判概率的计算在12==ΣΣΣ下, 作简要讨论. 用广义距离2221()()d d -x x 可导出划分12{:()}{:()}R W d R W d =≥⎧⎨=≥⎩x x x x (^_^) 其中112()()()T W -=--x μμΣx μ, 21(1|2)ln (2|1)c p d c p =, 两个总体1G 与2G 的马氏平方距离可记为11212()()T λ-=--μμΣμμ经导, 对(^_^)的划分, 其误判率为*121p p p ΦΦ⎛⎫=+- ⎪⎝⎭ 随λ大而小.实用中, 用(1)(2)1(1)(2)ˆ()()T λ-=--x x S x x 代λ.当121/2p p ==时, 有*2112211ˆ2n n p n n ⎛⎫=+ ⎪⎝⎭当12,p p 按容量比例选取时, 即12121212,n n p p n n n n ==++ 有 *122112ˆn n p n n +=+ 误判率的回代估计.例5.3 预报春旱. 两个预报因子的观察值12,X X , 假设误报损失相同, 先验概率按比例. 由下表数据进行两总体的Bayes 判别.解 16/140.4286p ==, 28/140.5714p ==. 调用proc discrim 得12ln || 1.8053,ln || 3.6783S S =-=-(1)(2)25.31622.025,2.416 1.187x x ⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦122.2130.6570.2730.063,0.6570.2690.0630.106S S --⎡⎤⎡⎤==--⎢⎥⎢⎥⎣⎦⎣⎦ 广义平方距离为(1,2j =)2()1()()()()ln 2ln j T j j jj j d p -=--+-x x x S x x S 后验概率为222ˆˆ0.5()0.5()1ˆ(|)e e j k d d j k P G --==∑x x x ,(1,2j =).回代判别结果如下略,误判率=0;若用交叉确认法, 则应按下式计算2()1()()()()()()()()ln 2ln j j j T j j x x x x j d p -=--+-x x x S x x S 逐个剔除, 交叉判别.有一错(10号被判错), 交叉确认估计*ˆ1/140.0714c p ==3. 多个总体的Bayes 判别(1) 一般讨论设概率密度为1~()k f x 的p 维总体1~k G 出现的先验概率为1~1~()k k p P G =, (11kj j p ==∑)先验概率的取法: (i) 1~1k p k =, 或(ii) 1~1~12k k k n p n n n =++,一个判别法= 一个划分=12{(,,,)}k R R R =R 判别准则 1,,kp j i j j R R R i j ==⋃=⋂=∅≠R判别R 下的误判情况讨论(|,)()d ,ji R P j i f j i =≠⎰R x x ,(1~)j k = 代价记为一个损失矩阵()(|)k k c j i ⨯(约定(|)0,1~c i i i k ==)常取(|)1,c j i i j =≠. 来自i G 判为其他总体的概率是(|,)j iP j i ≠∑R误判的概率*1(|,)ki i j i p p P j i =≠⎛⎫= ⎪⎝⎭∑∑R 使其最小, 得最优划分.当(|)c j i 不全相等时,将来自i G 判为其他总体的平均损失率1(|,)(|)ki j l P j i c j i ==∑R误判的平均损失率111(|,)(|)k kk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R应使其最小的划分R .进一步的讨论1) 当(|)1,c j i i j =≠时,因1(|,)1kj P j i R ==∑, 故(|,)1(|,)j iP j i P i i ≠=-∑R R从而有()()*111(|,)1()d ik ki R i i p P i i f ===-=-∑∑⎰R x x11()d iki R i f ==-∑⎰x x当1{:()max ()},1~i i i j j j kp f p f i k ≤≤===R x x x 时,12(,,,)k R R R =R 是使*p 最小的最优划分.又由Bayes 公式, 当出现样品x 时, 总体i G 的后验概率1~()(|)()i i i j jj kp f P G p f ==∑x x x故最优划分为1{:(|)max (|)}i i j j kR P G P G ≤≤==x x x , (1~i k =)当有多个时, 任选一个.2) 当(|),c j i i j ≠不全相等时,111(|,)(|)kkk i i i i i j L p l p P j i c j i ===⎛⎫== ⎪⎝⎭∑∑∑R11(|)()d jkk i i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11(|)()d jkki i j i p c j i f ==⎛⎫= ⎪⎝⎭∑∑⎰R x x11()(|)()()d jkj iiki j j h x p c j i f h ==⎛⎫ ⎪⎝⎭∑∑⎰R x x x取划分为1{:()min ()},1~j j i i i kh p f j k ≤≤===R x x x可使L 达到最小. 若记1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x(当出现x 后,被判为来自j G 后验平均损失, 则有1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x若有多个, 则任判一个.(2) 多个正态总体的Bayes 判别1) 对1,(|)0,i jc j i i j≠⎧=⎨=⎩的情况(i) 当12k ====ΣΣΣΣ时,设~(,)j p j G N μΣ(1~)j k =线性判别函数为()T j j j W b +x a x ,其中111,2ln j T T T j j jj j b p --+-a μΣμΣμ广义平方函数21()()()2ln T j j j j d p -=---x x μΣx μ,1~j k =后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x这时最优划分1{:()max ()}j j i i kR W W ≤≤==x x x1{:(|)max (|)}j i i kP G P G ≤≤==x x x (1~j k =)实用中, 用样本均值和样本协方差阵代替.(ii) 1~k Σ不全相等时, 设~(,)j p j j G N μΣ(1~)j k = 则有21()()()ln 2ln T j j j j j j d p -=--+-x x μΣx μΣ后验概率22ˆˆ0.5()0.5()1(|)ee jk kd d j k P G --==∑x x x ,(1~)j k =这时最优划分1{:(|)max (|)}j j i i kR P G P G ≤≤==x x x (1~j k =)实用中, 用2ˆ()j d x ,ˆ(|)jP G x 代替.2) 一般损失情况 计算(|),1~i P G j k =x 及1(|)(|)(|),1~kj i i H G c j i P G j k ===∑x x最优划分为1{:(|)min (|)},1~j j i i kH G H G j k ≤≤===R x x x例5.4 某学院招生时, 有两个参考指标1X : 平均学分指数; 2X 管理能力考试成绩;申请者分为3类: 1G 录取; 2G 不录取; 3G 待定. 近期有85位记录.(部分资料) 假定1) 各总体~正态分布;2) 先验概率按比例;3) 误判损失相同讨论在(i) 协方差阵相同; (ii) 协方差不全相同时; Bayes判别分析, 并给出误判率的回判法和交叉确认法估计值.若有一新申请者的资料13.12x=和2497x=, 在两种情况下各被判入哪类?解(i) 调用proc discrim过程, 得(部分)和**ˆˆ7/850.0824,8/850.094r c p p ====关于新样本0(3.12,497)T x =的后验概率10(|)0.2401P G x =, 20(|)0.0004,P G x =30(|)0.7578P G x =,故应该待定.(ii) 协方差不全相等时, 有和**ˆˆ3/850.03534/850.0471r c p p ====关于新样本0(3.12,497)T x =的后验概率10(|)0.5983P G x =, 20(|)0.0032,P G x =30(|)0.3985P G x =,当属1G 类(录取).总结前述内容均利用了所给定的全部p 个指标变量, 但并非指标变量越多, 判别效果就越好, 相反, 有时可能影响判别分析效果．因此，如回归分析一样，在判别分析中仍存在指标变量的选取问题，称为逐步判别法．限于本书特点，在此不再详述．有兴趣者可参见如[3]中第6章等．另外sA5系统的Proc stepdisc过程(参见[6])可用于逐步判别分析.。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
先验概率取 p1 p2 或 p j n j / n
误判率
x1, x2,, xn1 和 y1, y2 ,, yn2 来 自 G1, G2 全 体 训 练 样 本． N1, N2 -- G1, G2 样品被误判个数
回代误判率: p pˆ N1 N2
n1 n2
交
N
* 2
μ
j
)T
Σ
1
(x
μ
j
)}
广义平方距离：
d
2 j
(x)
(x μ
j )T
Σ1(x μ j )
2 ln
pj
ln| Σ|
d 2 2 (x )-d 1 2 (x ) （ 2w 1 (x ) w 2 (x )）
wj (x)
(μ j )T
Σ1x
1 2
(μ
j
)T
Σ1μ j ) ln
pj
后验概率准则：xx G G12,,dd1122((xx))dd2222((xx)) xx G G12,,w w11((xx))w w22((xx))
Bayes 判别准则：
P(Gi
|
x)
max j
P(x
|
Gj
) ，判
x
Gi
注意：先验概率取法
(1)
无信息可用:取
p j 相等(2)
按样品比例分配: p j
nj n
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
1.一般讨论
4.3.2 两个总体的Bayes判别
G1, G2 — p 维总体，密度 f1(x), f2 (x) ，各总体先验概率 p1 P(G1), p2 P(G2 ) ， p1 p2 1.
Bayes的基本思想和 判别分析
Bayes的基本思想和判别 分析
1 基本思想 2 两个总体的Bayes判别 3 多总体的Bayes判别
4.3.1Bayes判别基本思想
距离判别只要求知道总体数字特征，不涉 及总体的分布函数，当参数和协方差未知 时，就用样本均值和协方差矩阵来估计。 距离判别方法简单实用，但没有考虑到每 个总体出现的机会大小，即先验概率，没 有考虑到错判的损失。贝叶斯判别法正是 为了解决这两个问题提出的判别分析方法
d
2 j
(x)
(x μ j )T
Σj1(x μ j )
ln
|
Σ
j
|
-2 ln
pj
,
j
1,2
马氏平方距离
协方差阵/先验 概率相等,即为 距离判别准则
（2）两个总体协方差矩阵相等情形
总体 G j
~
N (μ j , Σ) ,
密度
f j (x)
1
(2 ) p/2 | Σ |1/2
exp{
1 2
(x
若两类蠓虫协方差矩阵相等，假设总体Apf和Af均服从正 态分布，用Bayes判别法判别三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）
exp 1 2{d2j(x)}/(2)p/2
大小相反
（1）两个总体协方差矩阵不相等的情形
Bayes判别准则化为广义距离准则
xG1, xG2,
d12(x)d22(x) d12(x)d22(x)
xx
G1, G2 ,
P(G1 | x) P(G2 | x) P(G1 | x) P(G2 | x)
广义平方距离：
k
max j
P(x
|
G
j
)
,判
x
Gi
p j P(x | Gj ))
j 1
后验概率
先验概率
P( Ai
|
B)
P( Ai B) P(B)
P( Ai )P(B | Ai )
k
---Bayes(逆概)公式
P( Aj )P(B | Aj )
j 1
贝叶斯判别准则
寻找空间 Rp {(x1, x2,, xp )T | xk R} 最优划分： R p R1R2 Rp , RiRj , i j
协方差矩阵相等的Bayes判别准则
xx G G12,,
当w1(x)w2(x) 当w1(x)w2(x)
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
w j(x ) (x (j)) S 1 x 1 2(x (j))T S 1 x (j) ln p j d ˆ2 j(x ) (x μ j ) S 1 (x μ j ) 2 ln p j
一般准则
x G1, p1 f1(x) p2 f2 (x) x G2, p1 f1(x) p2 f2 (x)
样本Bayes判别准则
协方差矩阵不相等的Bayes判别准则
xx G G12,,ddˆˆ1122((xx))ddˆˆ2222((xx))
---广义平方距离准则
d ˆ 2 j( x ) ( x x (j)) j1 S ( x x (j)) l|S n j| 2 lp n j
样品 x (x1, x2,, xp )T 属于 G1, G2 的后验概率为
P(G1 | x)
p1 f1(x) p1 f1(x) p2 f2 (x)
，P(G2 | x)
p2 f2 (x) p1 f1(x) p2 f2 (x)
两个总体的Bayes判别准则
x G1, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x) x G2, P(G1 | x) P(G2 | x) p1 f1(x) p2 f2 (x)
2．两个正态总体Bayes判别
设总体 G1,G2 服从正态分布 Gj ~ N(μ, Σ j ), 密度
f
j
(x)
(2
1 )p/2 |
Σ
j
|1/ 2
exp{
1 2
(x
μ
j
)T
Σ
1 j
(x
μ
j
)}
看大小
pjfj(x )exp pj {ln lfjn (x )}
e x 1 2 { ( x p μ j) T Σ j1 ( x μ j) l|n Σ j|-l2 p n j} ( 2 / )2 p
4.3.1 Bayes判别的基本思想
G1, G2 ,, Gk — p 维总体，密度 f j (x) ，各总体先验概率
k
p j P(G j ) ， Pj 1 ，样品 x (x1, x2,, xp )T G? j 1
将待判样品x判属给后验概率最大的总体
P(Gi | x)
pi P(x | Gi )
mn
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).