判别分析-距离判别法35页PPT
合集下载
第五章 判别分析 ppt课件
例F1如(X错)，判F的2(X概)，率…最…小或FK错(X判)（的均损为失p最元小分等布。函数），希望建立一 个准则，对于一个给定样品X，依据这个准则就能判断出这个
样品来自哪个总体。
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析
5.1.2 判别分析的基本思想
……
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析
5.1.1 引 例
这些问题有一个共同的特点，就是事先已有“类”的划分， 或事先已对某种已知样本分好了“类”。
判别分析要解决的问题就是在已知历史上用某些方法已把研 究对象分成若干类的情况下，来判定新的观测样品属于已知类 别中的哪一类。
1、按判别的组数 2、按判别函数的形式 3、按处理变量的方法 4、按判别准则
安徽财经大学统计与应用数学学院 2008.8 休息一下
返回
统计学专业主干课程——多元统计分析
5.1.3 判别分析的类型
根据资料的性质，分为定性资料的判别分析和定量资料的 判别分析。
本章的大部分内容是讨论定量资料的判别分析。
统计学专业主干课程——多元统计分析
5.2 距离判别
5.2.1 距离判别的基本思想 5.2.2 两总体距离判别 5.2.3 多总体距离判别
1、两总体距离判别 2、应用实例
安徽财经大学统计与应用数学学院 2008.8 休息一下
返回
统计学专业主干课程——多元统计分析
5.2.2 两总体距离判别
1、两总体距离判别
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析
第7判别分析(共38张PPT)
zf
7.2 距离判别 ❖ 基本思想：
即：首先根据已知分类的数据，分别计算各类 的重心即各组（类）的均值，判别的准则是对任 给样品，计算它到各类重心的距离，哪个距离最
小就将它判归哪个类。
zf
yG1，如d2y，G1d2y，G2， yG2，如d2y，G2d2y，G1
待判， 如d2(y,G1)d2(y,G2)
0.87973×花瓣长-2.28382×花瓣宽 变色鸢尾花： Y=1.100772×花萼长+1.070119×花萼宽 +1.000877×花瓣长+0.197345×花瓣宽
佛吉尼亚鸢尾花： Y=0.865205×花萼长+0.746515×花萼宽
+1.646601×花瓣长+1.694931×花瓣宽
zf
五、判别新样本所属类别 742082 Z ×花萼宽 1、输入历史数据，计算 和 当总体分类不清楚时，先用聚类分析对一批样本进行分类，再用判别分析构建判别式对新样本进行判别。 007192×花萼长+0. 2、聚类分析则是对研究对象的类型未知的情况下，对其进行分类的方法。 二、判别分析的基本要求： Fisher判别的优势在于对分布、方差等都没有什么限制，应用范围较广。 例2：中小企业的破产模型 3、X3：高峰时期每三分钟国际电话的成本 二、判别分析的基本要求： 742082 Z ×花萼宽 分界图，将坐标平面划分为 87973×花瓣长-2. 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 ⑴ 指定分组变量及其取值范围。 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 3、X3：高峰时期每三分钟国际电话的成本 06327×花萼长-0. 使用该方法后，按钮“Method”将被激活
7.2 距离判别 ❖ 基本思想：
即：首先根据已知分类的数据，分别计算各类 的重心即各组（类）的均值，判别的准则是对任 给样品，计算它到各类重心的距离，哪个距离最
小就将它判归哪个类。
zf
yG1，如d2y，G1d2y，G2， yG2，如d2y，G2d2y，G1
待判， 如d2(y,G1)d2(y,G2)
0.87973×花瓣长-2.28382×花瓣宽 变色鸢尾花： Y=1.100772×花萼长+1.070119×花萼宽 +1.000877×花瓣长+0.197345×花瓣宽
佛吉尼亚鸢尾花： Y=0.865205×花萼长+0.746515×花萼宽
+1.646601×花瓣长+1.694931×花瓣宽
zf
五、判别新样本所属类别 742082 Z ×花萼宽 1、输入历史数据，计算 和 当总体分类不清楚时，先用聚类分析对一批样本进行分类，再用判别分析构建判别式对新样本进行判别。 007192×花萼长+0. 2、聚类分析则是对研究对象的类型未知的情况下，对其进行分类的方法。 二、判别分析的基本要求： Fisher判别的优势在于对分布、方差等都没有什么限制，应用范围较广。 例2：中小企业的破产模型 3、X3：高峰时期每三分钟国际电话的成本 二、判别分析的基本要求： 742082 Z ×花萼宽 分界图，将坐标平面划分为 87973×花瓣长-2. 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 ⑴ 指定分组变量及其取值范围。 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 3、X3：高峰时期每三分钟国际电话的成本 06327×花萼长-0. 使用该方法后，按钮“Method”将被激活
判别分析-距离判别法
判别规则为
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。
判别分析PPT课件
zi(x)ln q ifi((x ))
lnqi 12ln|i |1 2(x(i))i1(x(i))]
问题转化为若 Zl(x)m 1ik[Z ai(x x)，]则判 xGl 。 当协方差阵相等 1 k
则判别函数退化为 zi(x)ln qi1 2(xμ(i))Σ1(xμ(i)) ]
12[2lnqi (xμ(i))Σ1(x μ(i)) ] 令 F i(x) 2ln q i (x μ(i))Σ1(x μ(i)) ]
hj(x)qiC(j/i)fi(x)
i1
含义是：当抽取了一个未知总体的样品值x，要判别它属于 那个总体，只要先计算出k个按先验概率加权的误判平均损失
k
hj(x)qiC(j/i)fi(x) i1
然后比较其大小，选取其中最小的，则判定样品属 于该总体。
为了直观说明，作为例子，我们讨论k=2的情形。
ECM
其判别函数为
W (x)(x)12(12)
(12)/2 1 2
概 率 ： P ( x /G 2 ) P ( x 2 1 2 2 2 )
P(x21 22)P(x2
12) 2
1(12) 2
2、 交叉核实
交叉核实法的思想是：为了判断第i个观测的判别
正确与否，用删除第i个观测的样本数据集计算出判
P i ( x ) 2 lq i n 2 μ ( ) Σ i 1 x μ ( ) Σ i 1 μ (i)
问题转化为若P l(x)m 1ik[P ii(nx)]，则判 xGl 。
P i(x ) 2 (q li n 1 2 μ (i Σ ) 1 μ (i ) μ (Σ i )1 x )
P(好/做 人好事）
P好P 人 (做 P好 好 /好 P 人 事 )做 人 P(坏 好 /好 )P 人 事 (做 人好 /坏事 )人
贝叶斯判别分析ppt课件
假定两总体G1,G2均服从4元正态分布,在误判损失相 等且先验概率按比例分配条件下,对待判样本进行bayes
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25
判别分析-距离判别
= 2y′Σ −1 ( µ1 − µ 2 ) − ( µ1 + µ 2 )′Σ −1 ( µ1 − µ 2 )
( µ1 + µ 2 ) −1 = 2[y − ]′Σ ( µ1 − µ 2 ) 2 µ1 + µ 2 α = Σ −1 ( µ1 − µ2 ) = (a1 , a2 ,L, a p )′ 令µ = 2
利用这些数据找到一种判别函数，使得这一函数 具有某种最优性质，能把属于不同类别的样本点 尽可能的区别开来，并对同样测得 p项指标的新 样本进行归类.
关键：确定判别函数
判别准则： 判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。 常用的有，距离准则、Fisher准则、贝叶斯准则。
判别函数： 判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
µ1 + µ 2
判别函数的常数项（ 2 ′ ） Σ −1 ( µ1 − µ 2 )
（6）生成判别函数，将检验样本代入，判类。
三、多总体的距离判别法
设有 k 个 m元总体 G1,L, Gk ，分别有均值向量 µi和协方 差阵 Σi，对任给的 m元样品 X，判断它来自哪个总体 计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
Y = (Y1 , Y2 ,..., Y p )'，通常我们所说的两点间的距
离是指欧氏距离：
d 2 ( X , Y ) = ( X 1 − Y1 ) 2 + ... + ( X p − Yp ) 2
缺陷： 缺陷： 1、量纲的改变 2、数据的分散程度
1、设有量度重量和长度的两个变量 X和Y ，以单位 分别为kg和cm得到样本 A(0,5), B(10,0), C (1,0), D(0,10)， 按照欧氏距离计算，有：
第4章 判别分析2
k i 1
μμi
k i 1
μμ u
k
u[ μiμi kμμ kμμ kμμ]u i 1
k
u[ μiμi kμμ]u
12
i 1
k
b u[ μiμi kμμ]u
i 1
k
u[
i 1
μiμi
1 k
X1、X2为横、纵坐标轴构建一 个平面，若能设法找到一个y
轴，使得当X1X2平面上的散点
投射到y轴上时，两组观察值
的重叠程度最小，则综合指标
x2
y的区分能力显然大于原先的
X1、X2 。
3
y
一、Fisher判别的基本思想
从 k 个 P 维总体中抽取一个具有 p 个指标的样品观测数据，借
助方差分析的思想构造一个线性判别函数：
i 1
其中 μ
1 k
k
μ i ，代表全部 k 个总体的集．中．趋势；
i 1
k
E Σi ，代表各个总体内．部．的离散程度。 i 1
(μi μ) 代表总体 i 与其他各组之．间．的平均差距。9
这里 b 相当于一元方差分析中的组间差； e 相当于组内差。 应用方差分析的思想，选择 u 使得目标函数
i
Qr
Ri
i 1 s
i 1
i
i 1
它表明了全部 r 个判别式的判别能力。
实际应用中，我们一般不会使用全部 s 个判别式，因为费希尔判别法的基
本思想就是要降维。因此，如果前 r 个判别式的累计贡献率已达到一个较
高的比例（一般 75％至 95％即可），则可采用这 r 个判别式进行判别。 18
判别分析--费希尔判别、贝叶斯判别、距离判别
判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。
1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。
具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。
1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。
投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。
原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。
对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。