多元统计分析教学资料：逐步判别法
《多元统计分析》第三章 判别分析
v (3) 交叉验证法（或称刀切法）
Ø 从组π1中取出x1j，用该组的其余n1−1个观测值和组π2的n2个观测值构造 判别函数，然后对x1j进行判别，j=1,2,⋯ ,n1。同样，从组π2中取出x2j， 用这一组的其余n2−1个观测值和组π1的n1个观测值构造判别函数，再对 x2j作出判别，j=1,2,⋯ ,n2。
v (1) 回代法
Ø 令n(2|1)——样本中来自π1而误判为π2的个数，n(1|2)——样本中来自π2
而误判为π1的个数，则P(2|1) 和P(1|2) 可估计为
Pˆ
2
| 1
n
2
| 1
,
Pˆ 1 | 2 n 1 | 2
n1
n2
Ø 该方法简单、直观，且易于计算。但它给出的估计值通常偏低，当样
xΣ 1x 2 Iix ci
其中 Ii
Σ 1 μi , ci
1 2
μiΣ 1 μi ,i
1, 2,, k，判别规则简化为
x l,
若Ilx
cl
max
1 i k
Iix
ci
这里Ii′x+ci为线性判别函数。
x l,
若d
2
x,
l
v 当Σ1=Σ2=⋯ =Σk=Σ时，采用线性判 别函数。
v 当Σ1,Σ2,⋯ ,Σk不全相等时，采用二 次判别函数
v 实践中，Σ1,Σ2,⋯ ,Σk几乎不可能完 全相等。
x l ,
若Iˆlx
cˆl
max
1 i k
Iˆix cˆi
Iˆi
《多元统计分析》PPT课件
gi (Y ) 2y1i i1i
将上式中提-2，得
gi
(Y )
2(y
1 i
0.5i1i)
令 fi (Y ) (y1i 0.5i1i)
则距离判别法的判别函数为：
§2 距离判别
（一）马氏距离
距离判别的最直观的想法是计算样品到第i类 总体的平均数的距离，哪个距离最小就将它判 归哪个总体，所以，我们首先考虑的是是否能 够构造一个恰当的距离函数，通过样本与某类 别之间距离的大小，判别其所属类别。
设 x (x1, x2,, xm )和 y ( y1, y2,, ym ) 是从
样本，来检验方法是否稳定的问题。
判类
原类
G1 G2 Gk
G1
G2
合计
Gk
m11
m12
m1k
n1
m21
m22
m2k
n2
mk1
mk 2
mkk
nk
简单错判率：p
1 n
k i 1
k
mij
j 1
ji
加权错判率：
设qi是第i类的先验概率， pi是第i类的错判 概率，则加权错判率为
1 1
1
1 1
)
2y1(1 2 ) (1 2 )1(1 2 )
2[y
(1
2
2
)]1 (1
2
)
令 1 2
2
1(1 2 ) (a1, a2,, ap )
第八讲 判别分析(多元统计分析方法兰州商学院傅德印)
需要注意的是，由算法中可知用逐步判别选出的L个变量 一般不是所有L个变量组合中最优的组合（因为每次引入 都是在保留已引入变量基础上引入新的变量）。但在L不 大时，往往是最优的组合。
五、具体计算步骤
1、准备工作
（1）计算各总体中各变量的均值和总均值以及
p1
•
W22 W21W111W12 T22 T21T111T12
T22
所以有： p1 T22 T21T111T12
p
W22 W21W111W12
即 p1 1 T22 T21T111T12 W22 W21W111W12
p
W22 W21W111W12
统计量F
p1 p
1 n
（p 1） （m 1）
判别分析方法
（一）距离判别法
１．基本思想：首先根据已知分类的数据， 分别计算各类的重心，即分组（类）均值， 判别准则是对于任给一次观测值，若它与 第i类的重心距离最近，就认为它来自第i类。 因此，距离判别法又称为最邻近方法 （ nearest neighbor method）。 距 离 判别法对各类总体的分布没有特定的要求， 适用于任意分布的资料。
第七章 判别分析
判别分析原理及模型 逐步判别分析 判别分析应用及实例
判别分析原理及模型
判别分析概述 判别分析方法
判别分析概述
（一）什么是判别分析
判别分析是多元统计中用于判别样品所属类型的一种统计分析方法。
是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确 定新的样品的观测数据属于那一类的统计分析方法。
3．多组费舍判别分析
（三）贝叶斯判别法
第二节 逐步判别分析
逐步判别分析
逐步判别分析1.基本理解逐步判别分析分析过程分两步：1.根据自变量和因变量（分类变量）相关性的大小筛选一部分自变量，这里的相关性是指自变量能否显著地把因变量区分出来；2.用取定的变量做进一步的判别分析。
注：在模型中保留的自变量不是单独的参考每个自变量和因变量的相关性，而是综合考虑由一部分自变量形成的整体对因变量的区分能力。
2.逐步判别分析操作步骤逐步判别函数第一步：首先将已确定分类情况的数据到spss软件中，点击分析、分类、判别式。
图1逐步判别操作第一步第二步：进入判别分析勾选框后首先将变量列表中的变量放入右侧的变量框中，将因变量（已知分组情况变量）放入分组变量框并定义好范围，点击继续，将自变量放入自变量框中。
图2第二步第三步：点击统计，勾选描述里的平均值、博克斯，函数系数勾选费希尔、未标准化。
点击继续。
图3第三步第四步：点击分类、勾选先验概率根据大小计算、显示下的摘要表，图勾选、合并组、领域图。
点击继续，后点击确定。
图4第四步3.逐步判别分析结果分析个案处理摘要、组统计结果。
图5组统计结果对数决定因子、检验结果、输入/除去的变量结果。
图6博克斯等同性检验输入/除去的变量、包括在分析中的变量。
图7步进统计典型判别函数系数、组质心处的函数、分类处理摘要。
图8典型判别函数系数结果分类处理摘要、组先验概率、分类函数系数（费希尔判别函数结果）。
图9费希尔判别函数系数典型判别函数、分类结果（判别函数的准确性）。
图10典则判别函数图4.结果整理结果整理将费希尔判别函数表结果粘贴到表格中，并在右侧加入分类结果中的准确率。
并根据费希尔判别函数系数表整理好每个类别的函数。
图11结果整理。
多元统计分析 判别分析(方法+步骤+分析 总结)
判别分析：实验步骤：1.在SPSS窗口中选择：分析-分类-判别，将变量导入自变量框中，group导入分组变量中，选择定义范围，最小为1最大为3，并选择一起输入自变量，点击继续2.点击统计量，描述性中选择“均值”，“单变量”和”Box”，选择函数系数中的“Fisher”“未标准化”，矩阵中选择“组内相关”，点击继续3.点击分类点击继续4.点击“保存”，三个框均选中，点击继续5.点击确定实验结果分析：1.表1 组统计量看各个总体在均值等指标上的值是否接近，若接近说明各类之间在该指标差异不大表2表3 汇聚的组内矩阵若自变量之间存在高度相关，则判别分析价值不大，但并不严格，允许出现一定的相关表4 协方差矩阵的均等性的箱式检验检验结果p值>0.05时，说明协方差矩阵相等，可以进行bayes检验表7由表7可知，两个Fisher 判别函数分别为1123456212345674.99 1.861 1.6560.8770.7980.098 1.57929.4820.867 1.1550.3560.0890.0540.69y XX X X X X y X X X XX X =--+-+++=--+--++表8 结构矩阵该表是原始变量与典型变量（标准化的典型判别函数）的相关系数，相关系数的绝对值越大，说明原始变量与这个判别函数的相关性越强由表9可知各类别重心的位置，通过计算观测值与各重心的距离，距离最小的即为该观测值的分类。
表10 给出贝叶斯判别函数系数第一类：11234565317.2143.9153.190.153.011.0189.3F X X X X X X =--+-+++2. 将各样品的自变量值代入上述三个Bayes 判别函数，得到函数值。
比较函数值，哪个函数值比较大就可以判断该样品判入哪一类。
《多元统计分析讲义》第四章判别分析
**
**
目录 上页 下页 返回 结束
§4.6 判别分析方法步骤及框 图 研究者首先应该关注被解释变量。被解释变量的组数可以是
两个或更多，但这些组必须具有相互排斥性和完全性。被解 释变量有时确实是定性的变量。然而也有一些情况，即使被 解释变量不是真的定性变量，判别分析也是适用的。我们可 能有一个被解释变量是顺序或者间隔尺度的变量，而要作为 定性变量使用。这种情况下我们可以创建一个定性变量。
*
*
目录 上页 下页 返回 结束
§4.1 判别分析的基本理
论
判别分析的假设之一，是每一个判别变量（解释变量）不 能是其他判别变量的线性组合。即不存在多重共线性问题。 判别分析的假设之二，是各组变量的协方差矩阵相等。判 别分析最简单和最常用的形式是采用线性判别函数，它们 是判别变量的简单线性组合。在各组协方差矩阵相等的假 设条件下，可以使用很简单的公式来计算判别函数和进行 显著性检验。 判别分析的假设之三，是各判别变量之间具有多元正态分 布，即每个变量对于所有其他变量的固定值有正态分布。 在这种条件下可以精确计算显著性检验值和分组归属的概 率。当违背该假设时，计算的概率将非常不准确。
**
目录 上页 下页 返回 结束
§4.3 Bayes判别
**
XXX
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
目录 上页 下页 返回 结束
§4.4 Fisher判别
**
**
多元统计 判别分析
L: c1x1+c2x2－c=0
G2
x1 平面上两类数据训练样本的散点图
（两组数据样本在平面上存在一个合理的分界线L）
Discriminant analysis
已知：数据属性有n个，每个数据点为n维向量X：
X ( x1 , x2 ,..., xn )
已知总体数据分为两类： G1和G2 ，总体G1有p个样本点，总体G2有q 个样本点。 属 1
( 2)
1 q ( 2) xki q k 1 1 q ( 2) yi q i 1
i 1,2,..., n
1 p (1) yi p i 1
令：
A (y y )
(1)
( 2) 2
A与G1和G2两类点的几何中心的距离相关。显然，判别函数F (x1, x2, …, xn)应该使A值越大越好。
令：
B y y
p i 1 (1) i
(1) 2
y
q i 1
( 2) i
y
( 2) 2
B与G1和G2两类点的相对于各自几何中心的离差相关。显然，判别函 数F (x1, x2, …, xn)应该使B值越小越好。
构造函数I：
A I I (C1 , C2 ,..., Cn ) B
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p ( j / i ) P ( X D j / Gi ) f i ( x)dx i j
多元统计分析判别分析讲义
Equation Chapter 1 Section 1 Array《多元统计分析》Multivariate Statistical Analysis主讲：统计学院统计学院应用统计学教研室School of Statistics第三章 判别分析【教学目的】1． 让学生了解判别分析的背景、基本思想； 2． 掌握判别分析的基本原理与方法； 3． 掌握判别分析的操作步骤和基本过程； 4． 学会应用聚类分析解决实际问题。
【教学重点】1． 注意判别分析与聚类分析的关系（联系与区别）； 2． 阐述各种判别分析方法。
§1 概述一、什么是判别分析1．研究背景科学研究中，经常会遇到这样的问题：某研究对象以某种方式（如先前的结果或经验）已划分成若干类型，而每一类型都是用一些指标()12,,,p X X X X '=来表征的，即不同类型的X 的观测值在某种意义上有一定的差异。
当得到一个新样本观测值（或个体）的关于指标X 的观测值时，要判断该样本观测值（或个体）属于这几个已知类型中的哪一个，这类问题通常称为判别分析。
也就是说，判别分析（discriminant analysis ）是根据所研究个体的某些指标的观测值来推断该个体所属类型的一种统计方法。
判别分析的应用十分广泛。
例如，在工业生产中，要根据某种产品的一些非破坏性测量指标判别产品的质量等级；在经济分析中，根据人均国民收入，人均工农业产值，人均消费水平等指标判断一个国家的经济发展程度；在考古研究中，根据挖掘的古人头盖骨的容量，周长等判断此人的性别；在地质勘探中，根据某地的地质结构，化探和物探等各项指标来判断该地的矿化类型；在医学诊断中，医生要根据某病人的化验结果和病情征兆判断病人患哪一种疾病，等等。
值得注意的是，作为一种统计方法，判别分析所处理的问题一般都是机理不甚清楚或者基本不了解的复杂问题，如果样本观测值的某些观测指标和其所属类型有必然的逻辑关系，也就没有必要应用判别分析方法了。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ppt课件
1
前面介绍的判别方法都是用已知的全部变量来建 立判别式，但这些变量在判别式中所起的作用，一般 来说是不同的，即各变量在判别式中的判别能力不同， 有些可能起着重要作用，有些可能作用低微，如果将 判别能力低微的变量保留在判别式中，不仅会增加计 算量，而且会产生干扰影响判别效果，如果将其中重 要变量忽略了，作出的判别效果也一定不好，
1i1
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
(2)当
k
i,l
j
时
，把
a
换
kj
成
akj
/ aij
(3)当 k i, l j 时，把ail换 成ail / aij
(4)当 k i, l j 时，把aij换成1 / aij
ppt课件
9
k
E
n (Xi()X())(Xi()X())
1i1
ES1S2...SK
k n
T （ Xi()X)(Xi()X）
如何筛选出具有显著判别能力的变量来建立判别 式呢？下面介绍一种常用的逐步判别法。
ppt课件
2
如果接受这个假设，说明这K个总体的统计差异不显著，在 此基础上建立的判别函数效果肯定不好，除非增加新的变量。 如果H0被否定，说明这k个总体可以区分，建立判别函数是 有意义的。
检验H0的似然比统计量为
E p T p(nk,k1)
（即使Ar为最大的变量）进行检验,若F2r F
应将其从判别式中剔除 ppt课。 件
8
消去变换
设 Amn (akl ) 如 果 aij 0，
对 元 素 aij 做 消 去 变 换 规 定 以 下 变 换 规 则 ：
(1)当 k i, l j 时 ，把 akl换 成 akl ail akj / aij
F1r
1Ar Ar
nLk k1
F(k1,nLk)
Ar
er(rl) t(l)
rr
若 F1r F(k1,nLk),则 xr的 判 别 能 力 显 著 ，
我 们 将 判 别 能 力 显 著 的 变 量 中 最 大 的 变 量
（ 即 使 Ar为 最 小 的 变 量 p） pt课作 件 为 入 选 变 量 记 为 xL+1。 7
组内离差阵（反映了同一总体样本间的差异）：
kEΒιβλιοθήκη n (Xi()X())(Xi()X())
1i1
ES1S2...SK
总离差阵（反映了K个总体所有样本间的差异） ：
k n
T （ Xi()X)(Xi()X） 1i1
由于Wilks分布的数值表，一般书上没有，所以常 用下面的近似公式。
引入变量的检验统计量 假设计算l步，并且变量x1,x2,…xL已选入，现考察 第l+1步添加一个新变量xr的判别能力。此时的引 入变量检验统计量为：
剔除变量的检验统计量
在第l+1步考察剔除已入选的变量xr的判别能力， 假 设此时已选入了包括xr 在内的L个变量，则剔除变 量检验统计量为：
F2r
1Ar Ar
(nL1)k k1
F(k1,n(L1)k)
Ar e tr(r(rlrl))
若F2r F 则认为xr的判别能力不显著，
在已选入的所有变量中，找出F2r最小的变量