14统计《应用多元统计分析》第04章_判别分析gxs
合集下载
统计学中的判别分析
统计学中的判别分析判别分析是统计学中一种常见的分析方法，旨在通过将样本数据归类到一个或多个已知的类别中，来识别和描述不同类别之间的差异。
它在很多领域中都有广泛的应用，例如医学、市场调研、金融等。
本文将介绍判别分析的基本原理、常见的判别分析方法以及其在实际应用中的一些例子。
一、判别分析的原理判别分析的目标是构建一个判别函数，通过输入变量的值来判别或预测样本所属的类别。
它的核心思想是通过最大化类别间的差异和最小化类别内部的差异，来建立一个有效的分类模型。
判别分析的基本原理可以用以下步骤来描述：1. 收集样本数据，包括已知类别的样本和它们的属性值。
2. 对每个样本计算各个属性的平均值和方差。
3. 计算类别内部散布矩阵和类别间散布矩阵。
4. 根据散布矩阵计算特征值和特征向量。
5. 选择最具判别能力的特征值和特征向量作为判别函数的基础。
二、判别分析的方法判别分析有多种方法可以选择，常见的包括线性判别分析（Linear Discriminant Analysis，简称LDA）和二次判别分析（Quadratic Discriminant Analysis，简称QDA）。
1. 线性判别分析（LDA）线性判别分析假设每个类别的样本数据满足多元正态分布，并且各个类别的协方差矩阵相等。
它通过计算最佳投影方向，将多维属性值降低到一维或两维来实现分类。
LDA在分类问题中被广泛应用，并且在特征选择和降维方面也有一定的效果。
2. 二次判别分析（QDA）二次判别分析不同于LDA，它允许每个类别具有不同的协方差矩阵。
QDA通常适用于样本数据的协方差矩阵不相等或不满足多元正态分布的情况。
与LDA相比，QDA在处理非线性问题时可能更有优势。
三、判别分析的应用实例判别分析在多个领域中都有广泛的应用，下面列举了一些实际的例子。
1. 医学领域在医学中，判别分析可以帮助诊断疾病或判断病情。
例如，可以利用病人的临床数据（如血压、血糖等指标）进行判别分析，来预测是否患有某种疾病，或者判断疾病的严重程度。
应用多元统计分析课后习题答案高惠璇第四章部分习题解答
4
第四章 回归分析
令
L(a0 , 2 ) 2 2 L(a0 , ) 2 [( y1 a0 ) ( y2 a0 ) 3( y3 3a0 ) 0 a0 2
可得
令 ln L(a ˆ0 , 2 ) 3 1 2 ˆ [( y a ) ] 0 1 0 2 2 2 2 2 2( ) drf 可得 ˆ 2 1 2 ˆ0 ) 2 ( y2 a ˆ0 ) 2 ( y3 3a ˆ0 ) 2 ˆ0 ( y1 a
1
经验证:① B-A是对称幂等阵; ② rank(B-A)=tr(B-A)=2-1=1;
25 80 35 1 256 112 330 49
8
第四章 回归分析
③ A(B-A)=O3×3 .由第三章§3.1的结论6知
Y AY与Y ( B A)Y相互独立;也就是 ˆ ˆ 与 ˆ 相互独立.
ˆi y ˆ ) ( yi y )( y i 1
n n n i 1 i 1 2
R
2
2 2 ˆ ˆ ( y y ) ( y y ) i i
2 ˆi y ) ( y i 1
n n n i 1 i 1
2
2 2 ˆ ˆ ( y y ) ( y y ) i i
(因 1n C张成的空间 , 这里有H1n 1n )
n n i 1 i 1
(2) 因 ( yi y )( y ˆi y ˆ ) ( yi y ˆi y ˆ i y )( y ˆi y )
ˆ i )( y ˆi y ) ( y ˆi y )2 ( yi y
统计学中的判别分析方法
统计学中的判别分析方法统计学是一门研究数据收集、分析和解释的学科，可以帮助我们更好地理解和利用数据。
判别分析是统计学中一种重要的方法，它可以用于解决分类问题和区分不同的群组。
本文将介绍判别分析的基本概念、应用场景以及常见的判别分析方法。
一、判别分析的基本概念判别分析（Discriminant Analysis）是一种用于确定某个变量（被称为判别变量）对于将不同个体或样本分组的有效性的方法。
在判别分析中，我们希望通过已有的数据集，找到一种线性或非线性的方式将不同类别的样本区分开来。
判别分析通常用于以下几个方面：1. 分类问题：当我们面对一个具有多个类别的问题时，判别分析可以帮助我们将样本分到不同的类别中。
2. 数据降维：判别分析可以将高维度的数据降低到较低维度，从而使数据更加易于理解和处理。
3. 特征选择：通过判别分析，我们可以确定哪些特征（自变量）对于区分不同类别的样本最具有判别性。
二、判别分析的应用场景判别分析在实际生活和各个领域中都有广泛的应用，下面列举几个常见的应用场景。
1. 医学诊断：判别分析可以通过分析病人的生理指标（如血压、心率等）来帮助确定病人是否患有某种疾病。
2. 金融风险评估：通过判别分析，可以将客户分为高风险和低风险群体，从而帮助金融机构评估和管理风险。
3. 文本分类：在自然语言处理领域，判别分析可以通过分析文本的特征来将文本分为不同类别，如情感分类、垃圾邮件分类等。
4. 面部识别：判别分析可以通过分析不同人脸特征的差异性来进行人脸识别，应用广泛于安防领域和人工智能领域。
三、常见的判别分析方法在统计学中，有多种判别分析方法可供选择，下面介绍两种常见的方法。
1. 线性判别分析（Linear Discriminant Analysis，简称LDA）：线性判别分析是一种常见且广泛使用的判别分析方法。
它通过将样本投影到低维空间来最大化类间的离散度，并最小化类内的离散度。
LDA假设不同类别的样本具有相同的协方差矩阵。
《多元统计分析》PPT课件
上式中的第一项Y’ Σ-1Y与i无关，则舍去，得一个等价的函数
gi (Y ) 2y1i i1i
将上式中提-2，得
gi
(Y )
2(y
1 i
0.5i1i)
令 fi (Y ) (y1i 0.5i1i)
则距离判别法的判别函数为：
§2 距离判别
（一）马氏距离
距离判别的最直观的想法是计算样品到第i类 总体的平均数的距离，哪个距离最小就将它判 归哪个总体，所以，我们首先考虑的是是否能 够构造一个恰当的距离函数，通过样本与某类 别之间距离的大小，判别其所属类别。
设 x (x1, x2,, xm )和 y ( y1, y2,, ym ) 是从
样本，来检验方法是否稳定的问题。
判类
原类
G1 G2 Gk
G1
G2
合计
Gk
m11
m12
m1k
n1
m21
m22
m2k
n2
mk1
mk 2
mkk
nk
简单错判率：p
1 n
k i 1
k
mij
j 1
ji
加权错判率：
设qi是第i类的先验概率， pi是第i类的错判 概率，则加权错判率为
1 1
1
1 1
)
2y1(1 2 ) (1 2 )1(1 2 )
2[y
(1
2
2
)]1 (1
2
)
令 1 2
2
1(1 2 ) (a1, a2,, ap )
gi (Y ) 2y1i i1i
将上式中提-2，得
gi
(Y )
2(y
1 i
0.5i1i)
令 fi (Y ) (y1i 0.5i1i)
则距离判别法的判别函数为：
§2 距离判别
（一）马氏距离
距离判别的最直观的想法是计算样品到第i类 总体的平均数的距离，哪个距离最小就将它判 归哪个总体，所以，我们首先考虑的是是否能 够构造一个恰当的距离函数，通过样本与某类 别之间距离的大小，判别其所属类别。
设 x (x1, x2,, xm )和 y ( y1, y2,, ym ) 是从
样本，来检验方法是否稳定的问题。
判类
原类
G1 G2 Gk
G1
G2
合计
Gk
m11
m12
m1k
n1
m21
m22
m2k
n2
mk1
mk 2
mkk
nk
简单错判率：p
1 n
k i 1
k
mij
j 1
ji
加权错判率：
设qi是第i类的先验概率， pi是第i类的错判 概率，则加权错判率为
1 1
1
1 1
)
2y1(1 2 ) (1 2 )1(1 2 )
2[y
(1
2
2
)]1 (1
2
)
令 1 2
2
1(1 2 ) (a1, a2,, ap )
多元统计分析第4章作业题选讲
多元统计分析
解：由已知可得，
1 (1) 1 6 2 4 (2) x x 2 2 2 1 0.5
^
4 3 1 9 3 1 =S p 27 3 4 3 9 ^ ^ ^ ^ 1 9 3 4 1 1 a 1 2 27 3 4 3 0 x1 4 ^ ^ x 1 1 x 4 记x , 则W ( x) a x 1 1 x 0 x 2 2 2 6 6 当x , 则W ( x) 6 4=2 0 ,所以，x 属于总体G1. 0 0
i
1 令 W x a x μ ，其中 μ 2 μ1 μ2
i
i
a Σ 1 μ1 μ2 ，则上述判别规则可简化为：
x G1 , 若W x 0 x G2 , 若W x 0 待判， 若W x =0
由s≤min(k−1,p)知，组数k=2时只有一个判别式，k=3时最
多只有两个判别式，判别式的个数不可能超过原始变量的个 数p。
多元统计分析
第三步 写出判别式 第一判别式：y1=t1′x； 第二判别式：y2=t2′x；
一般地，第i判别式：yi=ti′x，i=1,2,⋯,s。
多元统计分析
（2）判别规则 选取前r(≤s)个判别式y1,y2,⋯,yr，使累计贡献率：
k
k
使ECM达到最小的判别规则：
k
l 1 l i
x l , 若 q j f j x C l | j min q j f j x C i | j
应用多元分析第四章优秀课件
❖ 例4.2.1 对某地区农村的6名2周岁男婴的身高、胸围、上半 臂围进行测量，得样本数据如表4.2.1所示。根据以往资料， 该地区城市2周岁男婴的这三个指标的均值μ0=(90,58,16)′， 现欲在多元正态性假定下检验该地区农村男婴是否与城市男
婴有相同的均值。这是假设检验问题：
H0：μ=μ0，H1：μ≠μ0
拒绝规则为：
若T02 2p，则拒绝H0
❖ 2. Σ未知
检验统计量为
T 2 n xμ 0S 1xμ 0
称之为霍特林（Hotelling）T2 统计量。当 H0
为真时
n
p
n
p 1
T
2
服从F(p,n−p)
，对给定的显著性水
平α，拒绝规则为：
若 T 2 T2，则拒绝H0
其中 T2pnnp1Fp,np。
查表得F0.01(3,3)=29.5，于是
T02 .013 35F 0.013,3147.5
故在显著性水平α=0.01下，拒绝原假设H0，即认为农村与城 市的2周岁男婴上述三个指标的均值有显著差异(p=0.002)。
二、置信区域
T 2 n x μ S 1 x μ
n
p
np 1T来自2F p,n p
S
8.040 0.500
3.1 7 2 1.3 10
1.3 10 1.9 0 0
4.3107 14.6210 8.9464
S
1
23.13848 1
1 4.6 2 10 8.9464
59.7900 37.3760
37.3760 35.5936
T 2 n x μ0 S 1 x μ0 6 70.0741 420.445
H0：μ1/6=μ2/4=μ3，H1：μ1/6, μ2/4, μ3至少有两个不等 令
应用多元统计分析课后习题答案高惠璇第四章部分习题解答市公开课获奖课件省名师示范课获奖课件
0
2
)
3 2
(ˆ
2
)
3 2
ˆ 2 ˆ 0 2
3
2
V
3 2
下列来讨论与V等价旳统计量分布:
ˆ 2
1 3
( y1
aˆ)2
( y2
2aˆ
bˆ)2
( y3
aˆ
2bˆ)2
1 3
( y1
yˆ1 ) 2
( y2
yˆ2 )2
( y3
yˆ3 )2
1 3
(Y
Xˆ )(Y
Xˆ )
1Y 3
(I3
X
(
X
X
)1
Q(β)=(Y-Cβ) '(Y-Cβ) . 试证明β^＝(C'C)-1C'Y是在下列四种意义下达最小：
(1) trQ(β^)≤trQ(β) (2) Q(β^)≤Q(β) (3) |Q(β^)|≤|Q(β)|
(4) ch1(Q(β^))≤ch1(Q(β))，其中ch1(A)表达A
旳最大特征值. 以上β是(m+1)×p旳任意矩阵.
[(
y1
aˆ0
)2
]
0
可得
ˆ
2
1 3
( y1
aˆ0 )2
( y2
aˆ0 )2
( y3
3aˆ0 )2
drf
ˆ
2 0
似然比统计量旳分子为
L(aˆ0
,ˆ
2 0
)
(2
)
3 2
(ˆ 0 2
)
3 2
exp[
3 2
].
5
第四章 回归分析
似然比统计量为
L(aˆ0 ,ˆ02 ) L(aˆ,bˆ,ˆ 2 )
《应用多元统计分析》第04章-判别分析
量。通过反复迭代，最终构建最优的判别函数。
04
判别分析的实例与演示
数据来源与预处理
数据来源
判别分析所使用的数据通常来源于实际研究或调查，这些数据可能涉及到多个 变量和观测样本。
数据预处理
在应用判别分析之前，需要对数据进行预处理，包括数据清洗、缺失值处理、 异常值检测与处理、数据标准化等步骤，以确保数据的质量和可靠性。
2. 建立判别模型
选择合适的变量，并进行数据清理和预处 理，包括缺失值处理、异常值检测与处理 等。
选择合适的判别分析方法，如线性判别分析 （LDA）或二次判别分析（QDA），并利用 已知分类的数据来估计判别函数。
3. 模型评估
4. 应用模型
使用诸如混淆矩阵、准确率、召回率等指 标来评估模型的性能，并可能进行交叉验 证。
目的
通过建立判别函数，使得不同类别之 间的差异尽可能大，而同一类别内的 差异尽可能小。
判别分析与聚类分析的区别
01
判别分析基于已知分类数据， 目标是建立预测分类的规则； 而聚类分析则是将未知分类的 数据进行归类。
02
判别分析要求对各变量之间的 相关性进行建模，而聚类分析 则更注重数据之间的距离或相 似性。
总结词
两总体判别分析是一种基本的判别分析方法，用于根据已知分类的数据集构建判别函数，从而对新数据进行分类。
详细描述
两总体判别分析通常用于解决二分类问题，其基本思想是通过选择一组特征变量，使得不同类别的样本在这组变 量上的均值差异最大，同时使同类样本之间的离散度最小。判别函数通常采用线性或非线性形式，通过最小化分 类错误率来构建。
对特征选择敏感
判别分析的特征选择可能对结果 影响较大，如果选择不合适的特 征，可能会导致分类效果不佳。
04
判别分析的实例与演示
数据来源与预处理
数据来源
判别分析所使用的数据通常来源于实际研究或调查，这些数据可能涉及到多个 变量和观测样本。
数据预处理
在应用判别分析之前，需要对数据进行预处理，包括数据清洗、缺失值处理、 异常值检测与处理、数据标准化等步骤，以确保数据的质量和可靠性。
2. 建立判别模型
选择合适的变量，并进行数据清理和预处 理，包括缺失值处理、异常值检测与处理 等。
选择合适的判别分析方法，如线性判别分析 （LDA）或二次判别分析（QDA），并利用 已知分类的数据来估计判别函数。
3. 模型评估
4. 应用模型
使用诸如混淆矩阵、准确率、召回率等指 标来评估模型的性能，并可能进行交叉验 证。
目的
通过建立判别函数，使得不同类别之 间的差异尽可能大，而同一类别内的 差异尽可能小。
判别分析与聚类分析的区别
01
判别分析基于已知分类数据， 目标是建立预测分类的规则； 而聚类分析则是将未知分类的 数据进行归类。
02
判别分析要求对各变量之间的 相关性进行建模，而聚类分析 则更注重数据之间的距离或相 似性。
总结词
两总体判别分析是一种基本的判别分析方法，用于根据已知分类的数据集构建判别函数，从而对新数据进行分类。
详细描述
两总体判别分析通常用于解决二分类问题，其基本思想是通过选择一组特征变量，使得不同类别的样本在这组变 量上的均值差异最大，同时使同类样本之间的离散度最小。判别函数通常采用线性或非线性形式，通过最小化分 类错误率来构建。
对特征选择敏感
判别分析的特征选择可能对结果 影响较大，如果选择不合适的特 征，可能会导致分类效果不佳。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
今按照欧氏距离计算，有
AB 102 52 125 ； CD 12 102 101
如果我们将长度单位变为 mm，那么，有
AB 102 502 2600 ； CD 12 1002 10001
量纲的变化，将影响欧氏距离计算的结果。
为此，我们引入一种由印度著名统计学家马哈拉诺比斯 （Mahalanobis, 1936）提出的“马氏距离”的概念。
这里 I
Σ 1μ ， C
1 2
μ
Σ1μ
，
1,2,, k
。
由（ 4.8）式，可以取线性判别函数为
W (X) I X C ， 1,2,, k
相应的判别规则为
X Gi 如果 Wi (X) m1axk (I X C )
（ 4.9）
针对实际问题，当 μ1, μ 2 ,, μ k 和 Σ 均未知时，可以通过相应的
其中
将上边计算结果代人统计量后可得：
故在 函数有效。
检验水平下，两总体间差异显著，即判别
(6)对待判样品判别归类结果如下表：
2、继续用前面距离判别法例1的人文发展指数的数据作Bayes 判别分析。
这里组数k＝2，指标数p＝3，n1＝n2＝5
代人判别函数：
得两组的判别函数分别为：
将原各组样品进行回判结果如下一灯片表： 待判样品判别结果如下：
把这类问题用数学语言来表达，可以叙述如下：设有n个样 本，对每个样本测得p项指标（变量）的数据，已知每个样 本属于k个类别（或总体）G1，G2， …，Gk中的某一类，且 它们的分布函数分别为F1(x)，F2(x)， …，Fk(x)。我们希望 利用这些数据，找出一种判别函数，使得这一函数具有某种
最优性质，能把属于不同类别的样本点尽可能地区别开来，
对于一个新的样品 X ，要判断它来自哪个总体。
该计X问到算题每新与一样两个个品总总体X体到的的距每距离个离，总判即别体问的题距的离解决，思即想一样。计算新样品
D2 (X, G ) (X μ )Σ1(X μ )
XΣ1X 2μ Σ1X μ Σ1μ XΣ1X 2(I X C )
4.8）
在解决实际问题时，特别是针对多元数据的分析问题，欧氏距离 就显示出了它的薄弱环节。
第一、设有两个正态总体， X ~ N (1, 2 ) 和Y ~ N (2 ,4 2 ) ，
现有一个样品位于如图 4.1 所示的 A 点，距总体 X 的中心 2 远， 距总体 Y 的中心 3 远，那么， A 点处的样品到底离哪一个总体
并对测得同样p项指标（变量）数据的一个新样本，能判定 这个样本归属于哪一类。
判别分析内容很丰富，方法很多。判断分析按判别的总体 数来区分，有两个总体判别分析和多总体判别分析；按区分 不同总体所用的数学模型来分，有线性判别和非线性判别； 按判别时所处理的变量方法不同，有逐步判别和序贯判别等。 判别分析可以从不同角度提出问题，因此有不同的判别准则， 如马氏距离最小准则、Fisher准则、平均损失最小准则、最 小平方准则、最大似然准则、最大概率准则等等，按判别准 则的不同又提出多种判别方法。本章仅介绍常用的几种判别 分析方法：距离判别法、Fisher判别法、Bayes判别法和逐 步判别法。
记 W X X
1 2
1
2
1 1 2
其
中
μ
1 2
(μ1
μ2)
是
两
个
总
体
均
值
的
平
均
值
，
α Σ1 (μ1 μ 2 ) ，记 W (X) α(X μ)
（4.5）
则判别规则（4.4）式可表示为
XXGG12,,
如果 如果
W (X) 0 W (X) 0
（4.6）
这里称W (X) 为两总体距离判别的判别函数，由于它是 X 的线性
第四章 判别分析
第一节 引言 第二节 距离判别法 第三节 贝叶斯（Bayes）判别法 第四节 费歇（Fisher）判别法 第五节 实例分析与计算机实现
第一节 引言
在我们的日常生活和工作实践中，常常会遇到判别分析问题， 即根据历史上划分类别的有关资料和某种最优准则，确定一 种判别方法，判定一个新的样本归属哪一类。例如，某医院 有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记 录了每个患者若干项症状指标数据。现在想利用现有的这些 资料找出一种方法，使得对于一个新的病人，当测得这些症 状指标数据时，能够判定其患有哪种病。又如，在天气预报 中，我们有一段较长时间关于某地区每天气象的记录资料 （晴阴雨、气温、气压、湿度等），现在想建立一种用连续 五天的气象资料来预报第六天是什么天气的方法。这些问题 都可以应用判别分析方法予以解决。
函数，故又称为线性判别函数， α 称为判别系数。
在实际应用中，总体的均值和协方差矩阵一般是未知的，可由样
本均值和样本协方差矩阵分别进行估计。设
X(1) 1
,
,
X(1) n1
来自总
体
G1
的样本，
X(2) 1
,
,
X(2) n2
是来自总体
G2
的样本，
μ
1
和
μ
2
的
一个无偏估计分别为
X(1)
1 n1
n1
XΣ1X 2XΣ1μ1 μ1Σ1μ1 (XΣ1X 2XΣ1μ2 μ2Σ1μ2 )
2XΣ1(μ2 μ1) μ1Σ1μ1 μ2Σ1μ2
2XΣ1(μ2 μ1) (μ1 μ2 )Σ1(μ1 μ2 )
2
X
μ1
2
μ2
Σ 1 (μ1
μ2
)
2(X μ)α 2α(X μ)
0} 0}
（4.11）
新的样品 X 落入 R1 推断 X G1 ，落入 R2 推断 X G2 。
判别分析问题实质上以最优的性质对p维空间R p构造一个 “划分”，这个“划分”就构成了一个判别规则。
例 人文发展指数是联合国开发计划署于1990年5月发表的 第一份《人类发展报告》中公布的。该报告建议，目前对人文 发展的衡量应当以人生的三大要素为重点，衡量人生三大要素 的指示分别采用出生时的预期寿命、成人识字率和实际人均 GDP，将以上三个指示指标的数值合成为一个复合指数，即为 人文发展指数。资料来源UNDP《人类发展报告》1995年。
判别规则为
x x
G1 G2
, ,
如果 如果
x x
（2） 当 μ1 μ 2 ， Σ1 Σ2 时，我们采用（4.4）式作为判别
规则的形式。选择判别函数为
W *(X) D2 (X, G1) D2 (X, G2 ) (X μ1)Σ11(X μ1) (X μ2 )Σ21(X μ2 )
第二节 距离判别法
一 马氏距离的概念 二 距离判别的思想及方法 三 判别分析的实质
一、马氏距离的概念
设 p 维 欧 氏 空 间 R p 中 的 两 点 X ( X1, X 2 , , X p ) 和
Y (Y1,Y2 , ,Yp ) ，通常我们所说的两点之间的距离，是指欧
氏距离，即 d 2(X, Y) (X1 Y1)2 (X p Yp )2 （4.1）
近呢？若按欧氏距离来量度， A 点离总体 X 要比离总体Y “近
一些”。但是，从概率的角度看， A 点位于 1 右侧的 2 x 处，而 位于 2 左侧1.5 y 处，应该认为 A 点离总体Y“近一些”。显然，
后一种量度更合理些。
图4.1
第二、设有量度重量和长度的两个变量 X 与Y ，以单位分别 为 kg 和 cm 得到样本 A(0,5) ，B(10,0) ，C(1,0) ，D(0,10) 。
X
G1
,
X G2 ,
如果 如果
Wˆ (X) 0 Wˆ (X) 0
（4.7）
注： （ 1 ） 当 p 1 ， G1 和 G2 的 分 布 分 别 为 N (1, 2 ) 和 N (2 , 2 ) 时， 1, 2 , 2 均为已知，且 1 2 ，则判别
系数为 1 2 0 ，判别函数为 2 W (x) (x )
它是 X 的二次函数，相应的判别规则为
X
G1,
X G2,
如果 如果
W *(X) 0 W *(X) 0
2、多个总体的距离判别问题
问题：设有 k 个总体 G1, G2 ,,G k ，其均值和协方差矩阵分别是
μ1, μ 2 ,, μ k 和 Σ1, Σ 2 ,, Σ k ，而且 Σ1 Σ2 Σk Σ 。
(2)计算样本协差阵，从而求出
类似地 经计算
(3)求线性判别函数W(X)
解线性方程组
得
(4)对已知类别的样品判别分类
对已知类别的样品(通常称为训练样品)用线性判别函数进行判 别归类，结果如下表，全部判对。
(5)对判别效果作检验 判别分析是假设两组样品取自不同总体，如果两个总体的均值 向量在统计上差异不显著，作判别分析意义就不大：所谓判别效果 的检验就是检验两个正态总体的均值向量是否相等，取检验的统计 量为：
设 X 和 Y 是来自均值向量为 μ ，协方差为 Σ( 0) 的总体 G
中的 p 维样本，则总体 G 内两点 X 与 Y 之间的马氏距离定
义为
D2 (X, Y) (X Y)Σ1(X Y) (4.2)
定义点 X 到总体 G 的马氏距离为
D2 (X,G) (X μ)Σ1(X μ)
(4.3)
这里应该注意到，当 Σ I （单位矩阵）时，即为欧氏距离
的情形。
二、距离判别的思想及方法
1、两个总体的距离判别问题
设有协方差矩阵∑相等的两个总体G1和G2，其均值分别
是1和 2，对于一个新的样品X，要判断它来自哪个总体。
一般的想法是计算新样品X到两个总体的马氏距离
D2（X，G1）和D2（X，G2），并按照如下的判别规则进
AB 102 52 125 ； CD 12 102 101
如果我们将长度单位变为 mm，那么，有
AB 102 502 2600 ； CD 12 1002 10001
量纲的变化，将影响欧氏距离计算的结果。
为此，我们引入一种由印度著名统计学家马哈拉诺比斯 （Mahalanobis, 1936）提出的“马氏距离”的概念。
这里 I
Σ 1μ ， C
1 2
μ
Σ1μ
，
1,2,, k
。
由（ 4.8）式，可以取线性判别函数为
W (X) I X C ， 1,2,, k
相应的判别规则为
X Gi 如果 Wi (X) m1axk (I X C )
（ 4.9）
针对实际问题，当 μ1, μ 2 ,, μ k 和 Σ 均未知时，可以通过相应的
其中
将上边计算结果代人统计量后可得：
故在 函数有效。
检验水平下，两总体间差异显著，即判别
(6)对待判样品判别归类结果如下表：
2、继续用前面距离判别法例1的人文发展指数的数据作Bayes 判别分析。
这里组数k＝2，指标数p＝3，n1＝n2＝5
代人判别函数：
得两组的判别函数分别为：
将原各组样品进行回判结果如下一灯片表： 待判样品判别结果如下：
把这类问题用数学语言来表达，可以叙述如下：设有n个样 本，对每个样本测得p项指标（变量）的数据，已知每个样 本属于k个类别（或总体）G1，G2， …，Gk中的某一类，且 它们的分布函数分别为F1(x)，F2(x)， …，Fk(x)。我们希望 利用这些数据，找出一种判别函数，使得这一函数具有某种
最优性质，能把属于不同类别的样本点尽可能地区别开来，
对于一个新的样品 X ，要判断它来自哪个总体。
该计X问到算题每新与一样两个个品总总体X体到的的距每距离个离，总判即别体问的题距的离解决，思即想一样。计算新样品
D2 (X, G ) (X μ )Σ1(X μ )
XΣ1X 2μ Σ1X μ Σ1μ XΣ1X 2(I X C )
4.8）
在解决实际问题时，特别是针对多元数据的分析问题，欧氏距离 就显示出了它的薄弱环节。
第一、设有两个正态总体， X ~ N (1, 2 ) 和Y ~ N (2 ,4 2 ) ，
现有一个样品位于如图 4.1 所示的 A 点，距总体 X 的中心 2 远， 距总体 Y 的中心 3 远，那么， A 点处的样品到底离哪一个总体
并对测得同样p项指标（变量）数据的一个新样本，能判定 这个样本归属于哪一类。
判别分析内容很丰富，方法很多。判断分析按判别的总体 数来区分，有两个总体判别分析和多总体判别分析；按区分 不同总体所用的数学模型来分，有线性判别和非线性判别； 按判别时所处理的变量方法不同，有逐步判别和序贯判别等。 判别分析可以从不同角度提出问题，因此有不同的判别准则， 如马氏距离最小准则、Fisher准则、平均损失最小准则、最 小平方准则、最大似然准则、最大概率准则等等，按判别准 则的不同又提出多种判别方法。本章仅介绍常用的几种判别 分析方法：距离判别法、Fisher判别法、Bayes判别法和逐 步判别法。
记 W X X
1 2
1
2
1 1 2
其
中
μ
1 2
(μ1
μ2)
是
两
个
总
体
均
值
的
平
均
值
，
α Σ1 (μ1 μ 2 ) ，记 W (X) α(X μ)
（4.5）
则判别规则（4.4）式可表示为
XXGG12,,
如果 如果
W (X) 0 W (X) 0
（4.6）
这里称W (X) 为两总体距离判别的判别函数，由于它是 X 的线性
第四章 判别分析
第一节 引言 第二节 距离判别法 第三节 贝叶斯（Bayes）判别法 第四节 费歇（Fisher）判别法 第五节 实例分析与计算机实现
第一节 引言
在我们的日常生活和工作实践中，常常会遇到判别分析问题， 即根据历史上划分类别的有关资料和某种最优准则，确定一 种判别方法，判定一个新的样本归属哪一类。例如，某医院 有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记 录了每个患者若干项症状指标数据。现在想利用现有的这些 资料找出一种方法，使得对于一个新的病人，当测得这些症 状指标数据时，能够判定其患有哪种病。又如，在天气预报 中，我们有一段较长时间关于某地区每天气象的记录资料 （晴阴雨、气温、气压、湿度等），现在想建立一种用连续 五天的气象资料来预报第六天是什么天气的方法。这些问题 都可以应用判别分析方法予以解决。
函数，故又称为线性判别函数， α 称为判别系数。
在实际应用中，总体的均值和协方差矩阵一般是未知的，可由样
本均值和样本协方差矩阵分别进行估计。设
X(1) 1
,
,
X(1) n1
来自总
体
G1
的样本，
X(2) 1
,
,
X(2) n2
是来自总体
G2
的样本，
μ
1
和
μ
2
的
一个无偏估计分别为
X(1)
1 n1
n1
XΣ1X 2XΣ1μ1 μ1Σ1μ1 (XΣ1X 2XΣ1μ2 μ2Σ1μ2 )
2XΣ1(μ2 μ1) μ1Σ1μ1 μ2Σ1μ2
2XΣ1(μ2 μ1) (μ1 μ2 )Σ1(μ1 μ2 )
2
X
μ1
2
μ2
Σ 1 (μ1
μ2
)
2(X μ)α 2α(X μ)
0} 0}
（4.11）
新的样品 X 落入 R1 推断 X G1 ，落入 R2 推断 X G2 。
判别分析问题实质上以最优的性质对p维空间R p构造一个 “划分”，这个“划分”就构成了一个判别规则。
例 人文发展指数是联合国开发计划署于1990年5月发表的 第一份《人类发展报告》中公布的。该报告建议，目前对人文 发展的衡量应当以人生的三大要素为重点，衡量人生三大要素 的指示分别采用出生时的预期寿命、成人识字率和实际人均 GDP，将以上三个指示指标的数值合成为一个复合指数，即为 人文发展指数。资料来源UNDP《人类发展报告》1995年。
判别规则为
x x
G1 G2
, ,
如果 如果
x x
（2） 当 μ1 μ 2 ， Σ1 Σ2 时，我们采用（4.4）式作为判别
规则的形式。选择判别函数为
W *(X) D2 (X, G1) D2 (X, G2 ) (X μ1)Σ11(X μ1) (X μ2 )Σ21(X μ2 )
第二节 距离判别法
一 马氏距离的概念 二 距离判别的思想及方法 三 判别分析的实质
一、马氏距离的概念
设 p 维 欧 氏 空 间 R p 中 的 两 点 X ( X1, X 2 , , X p ) 和
Y (Y1,Y2 , ,Yp ) ，通常我们所说的两点之间的距离，是指欧
氏距离，即 d 2(X, Y) (X1 Y1)2 (X p Yp )2 （4.1）
近呢？若按欧氏距离来量度， A 点离总体 X 要比离总体Y “近
一些”。但是，从概率的角度看， A 点位于 1 右侧的 2 x 处，而 位于 2 左侧1.5 y 处，应该认为 A 点离总体Y“近一些”。显然，
后一种量度更合理些。
图4.1
第二、设有量度重量和长度的两个变量 X 与Y ，以单位分别 为 kg 和 cm 得到样本 A(0,5) ，B(10,0) ，C(1,0) ，D(0,10) 。
X
G1
,
X G2 ,
如果 如果
Wˆ (X) 0 Wˆ (X) 0
（4.7）
注： （ 1 ） 当 p 1 ， G1 和 G2 的 分 布 分 别 为 N (1, 2 ) 和 N (2 , 2 ) 时， 1, 2 , 2 均为已知，且 1 2 ，则判别
系数为 1 2 0 ，判别函数为 2 W (x) (x )
它是 X 的二次函数，相应的判别规则为
X
G1,
X G2,
如果 如果
W *(X) 0 W *(X) 0
2、多个总体的距离判别问题
问题：设有 k 个总体 G1, G2 ,,G k ，其均值和协方差矩阵分别是
μ1, μ 2 ,, μ k 和 Σ1, Σ 2 ,, Σ k ，而且 Σ1 Σ2 Σk Σ 。
(2)计算样本协差阵，从而求出
类似地 经计算
(3)求线性判别函数W(X)
解线性方程组
得
(4)对已知类别的样品判别分类
对已知类别的样品(通常称为训练样品)用线性判别函数进行判 别归类，结果如下表，全部判对。
(5)对判别效果作检验 判别分析是假设两组样品取自不同总体，如果两个总体的均值 向量在统计上差异不显著，作判别分析意义就不大：所谓判别效果 的检验就是检验两个正态总体的均值向量是否相等，取检验的统计 量为：
设 X 和 Y 是来自均值向量为 μ ，协方差为 Σ( 0) 的总体 G
中的 p 维样本，则总体 G 内两点 X 与 Y 之间的马氏距离定
义为
D2 (X, Y) (X Y)Σ1(X Y) (4.2)
定义点 X 到总体 G 的马氏距离为
D2 (X,G) (X μ)Σ1(X μ)
(4.3)
这里应该注意到，当 Σ I （单位矩阵）时，即为欧氏距离
的情形。
二、距离判别的思想及方法
1、两个总体的距离判别问题
设有协方差矩阵∑相等的两个总体G1和G2，其均值分别
是1和 2，对于一个新的样品X，要判断它来自哪个总体。
一般的想法是计算新样品X到两个总体的马氏距离
D2（X，G1）和D2（X，G2），并按照如下的判别规则进