多元统计分析第4章作业题选讲ppt课件

离为 d 2 x,i x μi Σi1 x μi , i 1, 2,L , k
判别规则为
1ik
d
2
x,
i
若Σ1=Σ2=⋯=Σk=Σ，则上述判别规则可作进一步简化。
d2(x,πi)=(x−μi)′Σ−1(x−μi)=x′Σ−1x−2μi′Σ−1x+μi′Σ−1μi
=x′Σ−1x−2(Ii′x+ci)
其中 Ii
Σ 1 μi , ci
1 2
μiΣ 1μi , i
1, 2,L
,k
，判别规则简化为
x l ,
若Ilx
cl
max
1ik
Iix
ci
多元统计分析
Σ1,Σ2,⋯,Σk不全相等的情形
首先，计算：d 2 x,i x μi Σi1 x μi , i 1, 2,L , k
kk
C l | i P x Rl | x Gi P x Gi i1 l1
kk
k
k
C l | i Pl | iqi qi C l | i Pl | i
i1 l1
i1 l1
li
使ECM达到最小的判别规则：
k
k
x l ,
若
j 1
qj
fj
xC l
|
j
min
1ik
j 1
qj
fj
xCi |
j
jl
相应的特征向量依次记为t1,t2,⋯,ts（标准化为ti′Spti=1, i=1,2,⋯,s），称y1=t1′x为第一判别式，y2=t2′x为第二判 别式。一般地，称yi=ti′x为第i判别式，i=1,2,⋯,s。 ❖ 由s≤min(k−1,p)知，组数k=2时只有一个判别式，k=3时最
多只有两个判别式，判别式的个数不可能超过原始变量的个
然后，做出判别：x l ,
若d
2
x,
l
min
1ik
d
2
x,
i
x l ,
若dˆ
2
x,
l
min
1ik
dˆ
2
x,
i
dˆ2 x,i x xi Si1 x xi , i 1, 2,L , k
多元统计分析
4.3 简述贝叶斯判别法的基本思想和方法。
进行贝叶斯判别，通常有两大准则，一是依据后验概率 最大准则；二是依据平均误判损失最小准则；同时要求已知： （1）总体的概率密度函数； （2）各总体出现的先验概率； （3）各误判损失。
μ
1 2
μ1
μ2
a Σ 1 μ1 μ2 ，则上述判别规则可简化为：
x G1, 若W x 0
x
G2
,
若W x 0
待判， 若W x =0
多元统计分析
②多个总体的距离判别问题
❖ 设有k个组π1,π2,⋯,πk，它们的均值分别是μ1,μ2,⋯,μk，协方差
矩阵分别是Σ1(>0),Σ2(>0),⋯,Σk(>0)，x到总体πi的平方马氏距
1. 最大后验概率准则
x属于总体Gi的后验概率为
P Gi | x
qi fi x
k
,
i 1, 2,L , k
qi fi x
i 1
最大后验概率准则采用如下的判别规则：
x l,
若P l
|
x
max
1ik
P i
|
x
多元统计分析
2. 平均误判损失最小准则
kk
ECM E C l i C l | i P x Gi , x Rl i1 l1
数p。
多元统计分析
第三步 写出判别式
第一判别式：y1=t1′x；
第二判别式：y2=t2′x； 一般地，第i判别式：yi=ti′x，i=1,2,⋯,s。
ji
多元统计分析
4.4 简述费希尔判别法的基本思想和方法。
费希尔判别的基本思想是投影（或降维）：用p 维向量
❖ x x1, x2,L , xp 的少数几个线性组合（称为判别式或
典型变量）
y1 a1x, y2 a2 x,L , yr ar x
（一般r明显小于p）来代替原始的p 个变量x1,x2, ⋯,xp ， 以达到降维的目的，并根据这r 个判别式y1,y2, ⋯,yr对样品
则
多元统计分析
x
G1,
x G2,
若d 2 x,G1 d 2 x,G2 若d 2 x,G1 d 2 x,G2
待判， 若d 2 x,G1 =d 2 x,G2
d 2 x,i x μ i Σ 1 x μ i ,i 1, 2.
❖ 令W x a x μ ，其中
的归属作出判别。特别地，可对前两个或前三个判别式作图， 从直观的几何图形上区别各总体。
（1）判别式的求法
多元统计分析
第一步 计算样本组间离差阵和组内离差阵
多元统计分析
第二步 求特征值和特征向量
求矩阵E −1B（或B −1E ）的特征值和对应的单位特征向量。 设全部非零特征值依次为λ1≥λ2≥⋯≥λs>0，其中，非零特 征值个数：s≤min(k −1,p)
多元统计分析
第4章 判别分析）
4.2 简述距离判别法的基本思想和方法。
答：距离判别的基本思想是计算样品与各个总体之间的距离 （通常是马氏距离），把样品判别为样品到总体距离最小的 总体。距离判别问题分为①两个总体的距离判别问题和②多 个总体的距离判别问题。。 ①两个总体的距离判别问题
设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是1 和2，对于一个新的样品X，要判断它来自哪个总体。计算 新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），
多元统计分析
第4章 判别分析） 4.1 判别分析和聚类分析有何区别？
答：判别分析是根据一定的判别准则，判定一个样本归属于 哪一类。具体而言，设有n个样本，对每个样本测得p项指标 （变量）的数据，已知每个样本属于k个类别（或总体）中 的某一类，通过找出一个最优的划分，使得不同类别的样本 尽可能地区别开，并判别该样本属于哪个总体。聚类分析是 分析如何对样品（或变量）进行量化分类的问题。在聚类之 前，我们并不知道总体，而是通过一次次的聚类，使相近的 样品（或变量）聚合形成总体。通俗来讲，判别分析是在已 知有多少类及是什么类的情况下进行分类，而聚类分析是在 不知道类的情况下进行分类。
设k个总G1 , G2 , ,G k 的概率密度函数分别为
f1(x), f2 (x),L , fk (x) ，假设k个总体出现的概率分别为：
k
q1, q2 ,
,q k ， qi
0
，
qi
i 1
1 。
多元统计分析
将本来属于总体 Gi 的样品错判到总体 G j 时造成的损
失为 C( j | i) ， i, j 1,2, , k 。