第六章 判别分析
合集下载
多元统计分析课件第六章-判别分析例题与操作过程可修改文字
.
(一) 操作步骤 1. 在SPSS窗口中选择Analyze→Classify→Discriminate，调 出判别分析主界面，将左边的变量列表中的“group”变量选 入分组变量中，将—变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判 别分析。
1
5
50.06 23.03 2.83 23.74 112.52 63.3
1
6
33.24 6.24 1.18 22.9 160.01 65.4
2
7
32.22 4.22 1.06 20.7 124.7 68.7
2
8
41.15 10.08 2.32 32.84 172.06 65.85
2
9
53.04 25.74 4.06 34.87 152.03 63.5
由此表可知，两个Fisher判别函数分别为：
y1 74.99 1.861X1 1.656X 2 0.877 X3 0.798X 4 0.098X 5 1.579X 6 y2 29.482 0.867X1 1.155X 2 0.356X 3 0.089X 4 0.054X 5 0.69 X 6
判别分析例题
例1：设有两个正态总体 G1 和 G2 ，已知：
(1)
ห้องสมุดไป่ตู้
10 15
(2)
20 25
18 12 1=12 32
20 7
2
=
7
5
试用距离判别法判断：样品：
X
20 20
，应归属于哪一类
判别分析例题 解：比较X到两个总体的马氏距离的大小
所以X属于正态总体 G1
例2：
第六章--判别分析
设有两个正态总体，
现有一个样品如图所示的A点，
A
距总体X的中心
远，距总体Y的中心
远
若按欧氏距离来度量，A点离总体X要比离总体Y近一些。但是，从概率论的
角度看，A点位于 点离总体Y近一些。
右侧的
而位于
左侧的
处，应该认为A
样品点x到
的马氏距离为：
（一）当
时
（二）当
时
虽然在两个总体有显著差异的条件下，误判概率很小，但当这种差异不很显著时，误判的 概率就很大。因此，只有当两个总体的均值有显著差异时，做判别分析才有意义。
-7.182 -4.379 -2.144 -9.440 -6.573 -6.906 -4.245
原分类 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3
新分类 1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3 3 3 3
第二节 贝叶斯（Bayes）判别
判别分析就是在研究对象用某种方法分好若干类（组）的情况下，确定新样品属 于已知类别中哪一类的多元统计分析方法。
判别分析和聚类分析不同，判别分析是在已知研究对象分成若干类型（或 组别） 并已取得各种类型的一批已知样品的观测数据 ，在此基础上根据某种准则建立 判别函数式，然后对未知类型的样品进行判别分类。而对于聚类分析，一批给 定样品要划分的类型事先并不知道，需要通过聚类分析来确定各样品所属的类 型。所以，判别分析和聚类分析往往结合起来运用。
第六章 判别分析
第一节 什么是判别分析
在科学研究和日常生活中，往往会遇到这样的问题，即根据观测数据对所研究的对象 进行分类（组）判别。例如，在经济学中可根据人均国内生产总值、人均消费水平等 多种指标来判别一个国家的经济发展程度所属类型；在气象学中，根据已有的气象资 料（气温、气压、湿度等）来判断明天是阴天还是晴天，有雨还是无雨等。以上各方 面的问题具有一个共同特点：就是事先已有“类”的划分，或事先已对某些已知样品 分好了“类”，需要判断那些还未分好的的样品究竟属于哪一类。
判别分析
1
x 2
2
若 x 1 ， 则显然判 x 1 ， 若 x 2 ， 则显然判 x 2 ， 下面讨论 1 x 2 ， 此时有
d ( x, 1 ) d ( x, 2 ) x 1
1
2 x 1 2 (x * ) ， 2 1 2
i i i i
由此得：
ˆ1
ˆ
n1
1 1 n1 1 ˆ2 xj ˆ x 1 ， n2 n1 j 1
x x ห้องสมุดไป่ตู้
j 1
2 j 2
n2
1 (W1 W2 ) n1 n2 2
n2
其中 W1 ( xj1 x 1 )( xj1 x 1 )T ， W2 ( xj2 x 2 )( xj2 x 2 )T 。
从而 u ( x) ~ N (0.5 2 , 2 ) ，所以
0 0.5 2 P(2 1) P(u ( x) 0 x 1 ) (0.5)
同理得： P(1 2) P( u ( x) 0 x 2 ) (0.5) 例 1 设判别因子只有一个， 即 p 1， 且假定 i ~ N ( i , 2 ) (i 1, 2) ， 则判别函数为：
记 2 ( 1 2 )T 1 ( 1 2 ) ，则
aT ( 1 2 ) ( 1 2 )T 1 ( 1 2 ) 2
a T a ( 1 2 )T 1 1 ( 1 2 )
( 1 2 )T 1 ( 1 2 ) 2
判别分析
§1. 引言 在生产、 科学研究及日常生活中经常遇到需要对某一研究对象属于哪种情况 作出判断。如在地质勘探中，根据岩石标本的多种特性来判别地层的地质年代， 由采样分析出的多种成份来判别此地是有矿还是无矿，是铜矿还是铁矿。在市场 预测中，根据以往调查所得的种种指标，判断下季度产品是畅销、平销或滞销。 在医疗诊断中，根据患者的不同症状和化验结果来诊断其患病类型等等。 从概率观点看，判别问题可以归结为如下模型：设共有 G 个总体：
判别分析法
判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。
据此即可确定某一样本属于何类。
1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。
若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析
（4）输出的结果文件中第四部分如下表 所示。
（5）输出的结果文件中第五个部分为组 间的协方差矩阵，如下表所示。
（6）输出的结果文件中第六个部分如下两 个表格所示。
（7）输出的结果文件中第七个部分如下表 所示。
（8）输出的结果文件中第八个部分如下表 所示。
（9）输出的结果文件中第九个部分如下表 所示。
小 结
SPSS中“Analyze”/“Classify”菜单专门 用于聚类分析和判别分析。其中，“K-Means Cluster”适用于快速聚类分析方法， “Hierarchical Cluster”适用于层次聚类分 析方法，“Discriminant”主要用于判别分析。
图7 “Discriminant Analysis：Classification”对话框
图8 “Discriminant Analysis：Save”对话框
3 结果和讨论
（1）SPSS输出结果文件中的第一部分如下 表所示。
（2）输出的结果文件中第二部分如下表所 示。
（3）输出的结果文件中第三部分如下表所 示。
有学者在研究中提出，可以利用判别分析 来对聚类分析结果的准确性进行检验。聚类分 析分成几类后，即可以作为判别分析的类别输 入，定义：判别分析先根据已知类别的事物的 性质（自变量），建立函数式（自变量的线性 组合，即判别函数），然后对未知类别的新事 物进行判断以将之归入已知的类别中。
（10）输出的结果文件中第十个部分如下 表所示。
（11）输出的结果文件中第十一个部分如 下表所示。
（12）输出的结果文件中第十二个部分包 括3个分类统计信息表格
（13）输出的结果文件中第十三个部分为 每一个个案的实际分组摘要表。如下表所示。
（14）输出的结果文件中第十四个部分如 图9所示。
判别分析完整课件
D ( y(1) y( 2) )(n1 n2 2) ( ci di )(n1 n2 2)
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
判别分析
判别分析
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
《判别分析》课件
在金融领域的应用
信用评分
利用判别分析模型，通过借款人 的特征和历史表现，预测其未来 违约风险，为金融机构提供信贷
决策依据。
市场风险评估
判别分析用于评估金融市场风险 ，通过分析市场数据和变量，预 测市场走势，帮助投资者做出合
理决策。
投资组合优化
利用判别分析对投资组合进行优 化，通过评估不同资产的风险和 回报，为投资者提供最佳资产配
对判别分析的未来展望
改进算法
针对判别分析的假设严格问题，未来研究可以尝试改进算法，放宽 假设条件，使其更适用于实际数据。
结合其他技术
可以考虑将判别分析与其它机器学习算法相结合，如神经网络、支 持向量机等，以提高分类性能和泛化能力。
拓展应用领域
随着大数据时代的到来，判别分析在各个领域的应用越来越广泛，未 来可以进一步拓展其应用领域，解决更多实际问题。
在市场营销中，判别分析可用于市场 细分，根据消费者的购买行为、偏好 和需求等因素，将市场划分为不同的 细分市场，帮助企业制定更加精准的 市场策略。
广告投放优化
通过判别分析对广告投放效果进行评 估和优化，基于历史数据和实时监测 数据，分析不同广告渠道和创意的表 现，提高广告投放的效率和效果。
06 判别分析的案例分析
金融领域的判别分析案例
信用风险评估
利用判别分析对银行客户进行信用风险评估，根据客户的历 史表现和其他相关信息，预测其未来违约的可能性，帮助银 行制定更加精准的信贷政策。
股票市场预测
通过判别分析对股票市场走势进行预测，基于历史数据和市 场信息，构建预测模型，以指导投资者进行投资决策。
1. 单变量判别函数
基于单个特征的判别函数。
2. 多变量判别函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
解决这个问题可以有多种途径，我们只介绍其常用 的一些，如距离判别，贝叶斯判别，费歇判别等。
§6.1 距离判别
如果事先已有m类的知识，我们把每一类看成一 个总体，设每个总体都是p维变量，第j类Gj 的平均 向量为 u j ，协方差矩阵为Σj(j=1,2,…,m)，
现有一个样本 y ，要判断它属于哪一个总体，
马氏距离判别
待判样本到各类的马氏距离
d ( y, G j ) ( y u j )
2
1 j
(y uj )
距离判别的基本原则如下： 1.计算 y 与各总体Gj(j＝1,…,m)的马氏距离
d2(
d 2 ( y, Gk ) min d 2 ( y, G j )，则判 划入第k类。即若
0.0351
0.0264 0.1624 0.2333
竹 波段 4 5 6 7 水 波段 4 5 6 4 0.00094 5 -0.00015 0.00021 6 4 0.00091 5 0.00143 0.00117 6
林 7 0.01006 0.00782 0.04611 0.08261 地 7 0.00024 0.00005 0.00095 平均数 0.0583 0.0443 0.0255 平均数 0.0728 0.0498 0.3261 0.4378
波段），用以估计各类型（总体）平均值和协方差阵。
本例取自杭州附近某林区利用光谱进行土地分类
的研究材料。为了说明问题，材料是经显著简化了的。
这里只取了四个类型（纯针叶林，阔叶混交林，竹林，
水地），每个类型选取15块观测样地进行光强度测量。 所示
然后算出了四个类型的离差矩阵和平均值，如表（6.1）
表（6.1） 四种土地类型各波段的离差阵Q 阔 波段 4 4 0.00088 5 0.00061 叶 6 0.00417 林 7 0.00521 平均数 0.0503
第6章 判别分析
在生产、科研和日常生活中，我们经常会遇到需要 对某一研究对象属于哪种情况作出判断。 例如，要根据这两天天气情况判断明天是否会下雨。 医生要根据病人的体温、白血球数目及其它症 状判断此病人是否患某种疾病 地质勘探中需要从岩石标本的多种特性去判断 该地区是否有某种矿 持股票者要根据某一种股票近期变化情况判断 此种股票是升还是降。 这些问题都是判别问题
2.找出其中的最小值，若d2( y
1 j m
,G )， y j
,Gk)最小，则将 y
定 y Gk 。
注意：如果总体平均值 u j 及总体协方差Σj都为未
1 x j , S j ( j 2,, m) 。这时
知，自然用样本平均值及样本协方差阵来代替。即从
Gj中抽取nj个样本单元来计算
0.034
0.046
0.029
0.064
0.042
（ⅱ）马氏（Mahalanobis）距离 印度统计学家Mahalanobis设计出了这种距离。
1 d xi x j S xi x j
2 ij
马氏距离与原始数据的测量单位无关。 马氏距离虽然与测量单位无关，但它 又会夸大缩小变量的作用，这是马氏距离在 实用中的不足。
表（6.2） 对16个样本材料进行距离判别
样本号 波段 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
4
0.052
0.054
0.056
0.041
0.092
0.065
0.076
0.067
0.050
0.048
0.030
0.033
0.053
0.061
0.062
0.068
5
0.034
判别分析是判别样品所属类型的一种统计方法。 例如，事先已知某地区土壤分类，分为G1，G2，…， Gm类，现在又取得了一个土样，需要判定这个土样属 于哪一类。 类似的问题还很多，如判断一株植物属于哪个种， 判断一个林分属于哪个类型，判断一个地区属于哪种 气候类型等。 这些问题有一共同特点，就是事先已有“类”的划 分，或事先已对某些已知样本分好了“类”，需要判 断那些还未分类的样本究竟属于哪一类。 正因为它有这样的特点，所以有些文献把判别分析 又叫做有监督分类。
5
6 7 针 波段 4
0.00071
0.00531
0.05360
0.00728
0.07165 0.10233
0.0357
0.2490 0.3266
叶 5
纯 6
林 7 平均数
4
5 6 7
0.00261
0.000231
0.000269
0.002130
0.002310 0.020779
0.002419
0.002720 0.023690 0.028887
即要将该样本进行归类。 一个最直观的想法，就是计算该样本到各总体 之间的距离，并且将其归入离它最近的那一类。
欧氏距离与马氏距离
（ⅰ）欧氏（Euchiled）距离
d ( xi x j ) ( xi x j )( xi x j )
ij 2
p
1
欧氏距离虽然很有用，很也有明显的缺点。 例如，当改变测量单位时，算出的距离数值就不 相同。再则它将样本的不同属性（即各变量）之 间的差别等同看待，有时不能满足实际要求，因 为事物个体间不同属性的差异对于区别个体有着 不同的重要性。
2
1 d ( y, G j ) ( y x j )S j ( y x j )
例6.1 在遥感技术的应用研究中，利用卫星磁带的
各波段光强度进行土地类型分类。首先将研究地区分 成m个类型，想象将各类型划分成大小相同的许多样 地，在每个类型中抽取一部分样地作为观测样地。测 定每个观测样地四个波段的光谱度（4，5，6，7四个 然后依次判断各样地所属类型，从而达到将全部土地 进行分类的目的。
0.00656 0.00516 0.03606
0.00039 -0.00015 0.00148
7
0.00091
0.0190
现在要根据这些基础材料判别各样地属于哪一个类型，如 果将所研究地区的全部样地都判定了它属于哪个类型，也就达 到了划分土地类型的目的。为此只要测定各样地的四个波段光 强度，用判别分析的方法进行判定就可以了。