判别分析-距离判别法37页PPT
距离判别_
第二节距离判别距离判别本节内容距离判别的R 实现3两个总体的距离判别问题2距离最小判别准则1距离最小判别准则距离判别的基本思想：样品和哪个总体距离最近，就判断它属于哪个总体。
距离判别也称为直观判别法如何定义观测到一个总体的距离？问题A设p 维欧式空间中的两点12(,,,)'= p X X X X 12(,,,)'= p Y Y Y Y 则欧式距离的定义为22211(,)()()=-++- p p d X Y X Y X Y用欧式距离衡量点到总体的距离会出现一定偏差。
例如，量纲的变化就有可能影响欧式距离的计算结果马氏距离在企业评估中，根据企业的生产经营情况把企业分为优秀企业和一般企业两个类别。
关于企业生产经营状况的指标有3个：资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵见下页表格。
现有两个企业，观测值分别为（7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？“优秀”的企业，其经营状况和协方差矩阵如下：变量优秀企业的均值向量协方差矩阵资金利润率13.568.3940.2421.41劳动生产率40.740.2454.5811.67产品净值率10.721.4111.677.90现在有一个新的企业，其三个指标的值分别为（7.8，39.1，9.6），计算该企业到“优秀”企业这一总体的马氏距离7.813.539.140.79.610.7X μ-⎡⎤⎢⎥-=-⎢⎥⎢⎥-⎣⎦[]1(,)(μ)(μ)68.3940.2421.41 5.75.7 1.6 1.140.2454.5811.67 1.63414.81221.4111.677.9 1.1D X G X X -'=-∑--⎡⎤⎡⎤⎢⎥⎢⎥=----=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦这个判别规则的等价描述为：求新样品X 到G 1的距离与到G 2的距离之差，如果其值为正，X 属于G 2；否则X 属于G 1。
两总体的面板数据的距离判别分析方法
其 中 ，α1，α2，… αT≥0 为 加 权 因 子 ，
i = 1
Σα =1， 当 α ，α ，…
t 1 2
αT>0 时 ， 意味着所有时点数据都有价值 。
事实上如果采取加权平均法来处理非水平趋势的数据 序列的话 ， 往往权重设置不同会导致得到的判定结果可能不 同 ， 这时我们的权重就需要严格遵循我们研究的目的来郑重 设置了。 比如我们的研究目的更偏向于了解事物最近的情 况 ， 甚 至 是 为 了 判 定 它 未 来 的 一 期 是 怎 么 样 的 ， 这 时 如 果 dt （t=1,2 … T ） 是 非 水 平 趋 势 ， 我 们 就 可 以 将 绝 大 多 数 的 权 重 赋 予最近的几期 。 则 dt 若具有非水平趋势 ， 两总体面板数据的距离判别规 则为
赞 表示为给定样品 y 到第一个总体的距离与到第二 其 中d 赞 的贡献是 个总体的距离的差的估计值 。 这里 dt（t=1,2 … T ） 对 d
等权的 Ed=β,Vard=E(dt-β)2=Eεt , 。 则若 dt 具有水平趋势，两总体面板数据的距离判别规则为
2
≥
3.2
赞 <0 y∈G1, 如 d 赞 ≥0 y∈G2, 如 d
知 识 丛 林
两总体的面板数据的距离判别分析方法
刘 兵 a， 刘 恒b
（ 淮南师范学院 a. 经管系 ；b. 数学系 ， 安徽 淮南 232038 ）
摘
要 ： 提出了根据距离之差的时序数据的趋势特征来考虑进行面板数据的判别分 析 ， 给 出 了
重复观察的各时点间隔相同的情况时两总体的面板数据距离判别规则 ， 并给出了距离之差的时序数 据趋势特征的检验方法 ， 最后分析了重复观察的各时点间隔并不相同时的距离判别分析方法 。 关键词 ： 面板数据 ； 距离判别分析 ； 时间序列趋势 中图分类号 ：F224 文献标识码 ：A 文章编号 ：1002-6487 （2010 ）22-0153-02
判别分析法
判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。
据此即可确定某一样本属于何类。
1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。
若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。
由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。
判别分析-距离判别法
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
判别分析(3)贝叶斯判别
知类别的样品代入判别函数进行回判。如果判对
率在75％以上，则认为判别函数有效，其常用的
公式为
判对样品(数 N1) 总样品(数 N)
此外，还可采用统计方法对判别函数效果进行 检验。
2021/2/4
1
16
对于判别函数的显著检验，我们可用马氏距 离来检验总体间差异是否显著。若总体间差异不 显著，显然建立在各总体基础之上的判别函数用 于归类其结果就不可靠。马氏距离的计算公式如 下： m
判别分析(3)贝叶斯判别
贝叶斯（ Bayes ）判别
距离判别只要求知道总体的特征量(即参数)---
均值和协差阵,不涉及总体的分布类型. 当参数未知
时,就用样本均值和样本协差阵来估计.
距离判别方法简单,结论明确,是很实用的方法.
但该方法也有缺点:
1. 该判别法与各总体出现的机会大小(先验概
率)完全无关;
我们就可用其进行归类识别，其方法是将待判
样品 X*[x1 *,x2 *, ,xm *]T代入判别函数式（4.21），
计算它归入每个类的判别函数
值
（
），然后选出
k1,2,,g
X*
则将 就归Fl(入X*)第m 1k 类ga{F。xk(X*)}
Fk (X* )
实际X *应用中，常l 常还需要知道待判样品 归
2021/2/4
1
8
§4.3.1 贝叶斯准则
问题：待判样品X属于哪一类？？ P (t|X )mP a (k|x X )mg a qkfx k(X ) (k1 ,2 , ,g)
q ifi(X )
i 1
对于诸总体，显然分母（全概率）都是相同的，因此只要比 较式分子的大小，即可判断条件概率的大小，进而对待判样 品作出归类。
判别分析方法
判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。
设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。
故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。
判别分析-实例-PPT
n2组数据为非购买者（B） 由已知变量X1，X2，将n1+n2=n组数据分成两大类； 购买者（A）—— X1i (A), X2i (A) （I=1,2,…,n1)
非购买者（B）—— X1 j (B), X2 j (B) （j=1,2,…,n2)
例：样本A，舒张血压为75mmHg，血浆胆固醇为150mg%， 分别代入方程后
G1=1.12364*75+0.21222*150-72.60310=43.5029
G2=0.94031*75+0.16755*150-49.34373=46.31202
由于G1小于G2，所以样本A判为正常人组（G=2）。
大家好
19
6、计算判别指标
y 1
C1
X
1
1
C2
X
1
2
C3
X
1
3
0.216928.29 0.01820 6.42 0.05604 6.00
2.251533
y 2
C1
X
2
1
C2
X
2
2
C3
X
2
3
0.21692 3.20 0.01820 3.80 0.05604 4.00
0.987464
判别指标为
大家好
35
大家好
36
大家好
37
大家好 待判样品
38
大家好
39
大家好
40
大家好
41
大家好
42
大家好
43
大家好
44
大家好
45
大家好
46
Fisher判别法距离判别法Bayes判别法逐步判别法
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p( j / i) P( X D j / Gi ) fi ( x)dx i j
P好人 P做好事 / 好人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
P (好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P坏人P做好事 / 坏人 P好人P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。。
目录 上页 下页 返回 结束
7
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
8
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
9
§4.2
距离判别
2018/10/4
目录 上页 下页 返回 结束
10
4.2.2 多总体情况
§4.2
距离判别
1. 协差阵相同。
2018/10/4
目录 上页 下页 返回 结束