应用多元统计分析习题解答_判别分析

应用多元统计分析习题解答_判别分析

第四章判别分析

4.1 简述欧几里得距离与马氏距离的区别和联系。

答：设p维欧几里得空间中的两点X=和Y=。

则欧几里得距离为。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。

设X,Y是来自均值向量为，协方差为

的总体G中的p维样本。则马氏距离为D(X,Y)=

。当

即单位阵时，

D(X,Y)==即欧几里得距离。

因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。

4.2 试述判别分析的实质。

答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空间R p 的k个子集，如果它们互不相交，且它们的和集

为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划分”，这个“划分”就构成了一个判别规则。

4.3 简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问

题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。 ①两个总体的距离判别问题

设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是μ1和μ 2，对于一个新的样品X ，要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2

（X ，G 1）和D 2

（X ，G 2），则

X

，D 2（X ，G 1）D 2

（X ，G 2）

X

，D 2（X ，G 1

）> D 2

（X ，G 2， 具体分析，

2212(,)(,)

D G D G -X X

111122111111

11122211121112

2()()()()

2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2()

22()2()

---''=-++-'

+?

?=--- ???

''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ

记()()W '=-X αX μ 则判别规则为

X

，W(X)

X

，W(X)<0

②多个总体的判别问题。

设有k 个总体k

G G G ,,,2

1

Λ，其均值和协方差矩阵分别

是k

μμ

μ,,,2

1

Λ和k

ΣΣ

Σ,,,2

1

Λ，且Σ

ΣΣΣ

====k Λ21

。计算样

本到每个总体的马氏距离，到哪个总体的距离最小就属于哪个总体。 具体分析，2

1(,)()()

D G αα

α-'=--X X μ

ΣX μ

1111

22()C α

ααα

α----'''=-+''=-+X ΣX μΣX μΣμX ΣX I X

取α

α

μΣI

1-=，α

αα

μΣμ1

2

1-'-=C

，k ,,2,1Λ=α。

可以取线性判别函数为

()W C αα

α'=+X I X ， k ,,2,1Λ=α

相应的判别规则为i

G ∈X 若 1()max()i

k

W C αα

α≤≤'=+X I X

4.4 简述贝叶斯判别法的基本思想和方法。 基本思想：设k 个总体k

G G G ,,,2

1

Λ，其各自的分布密度

函数)

(,),(),(2

1

x x x k f f

f Λ，假设k 个总体各自出现的概率分

别为k

q q q ,,,2

1

Λ，0

≥i

q

，1

1

=∑=k

i i

q

。设将本来属于i

G 总体的样

品错判到总体j

G 时造成的损失为)|(i j C ，k j i ,,2,1,Λ=。

设k 个总体k

G G G ,,,2

1

Λ相应的

p

维样本空间为

)

,,,(21k R R R R Λ=。

在规则R 下，将属于i

G 的样品错判为j

G 的概率为

x x d f R i j P j

R i

)(),|(?= j i k j i ≠=,,2,1,Λ

则这种判别规则下样品错判后所造成的平均损失为

∑==k

j R i j P i j C R i r 1)]

,|()|([)|( k i ,,2,1Λ=

则用规则R 来进行判别所造成的总平均损失为

∑==k

i i R i r q R g 1)

,()(

∑∑===k i k

j i R i j P i j C q 1

1

)

,|()|(

贝叶斯判别法则，就是要选择一种划分k

R R R ,,,2

1

Λ，使总平均损失)(R g 达到极小。 基本方法：∑∑===k

i k

j i R i j P i j C q R g 1

1

),|()|()(

x

x d f i j C q k i k

j R i i j

∑∑?===1

1

)()|(

∑?∑===k j R k

i i i j

d f i j C q 1

1

))()|((x

x

令1

(|)()()k i

i

j

i q C j i f h ==∑x x ，则 ∑?

==k

j R j j

d h R g 1

)()(x

x

若有另一划分)

,,,(**2*

1*

k

R R R R

Λ=，∑?

==k

j R j j

d h R g 1

*

*)()(x

x

则在两种划分下的总平均损失之差为

∑∑?

==?-=-k

i k

j R R j i j

i d h h R g R g 11*

*)]()([)()(x

x x

因为在i

R 上)()(x x j

i

h h ≤对一切j 成立，故上式小于或

等于零，是贝叶斯判别的解。 从而得到的划分

)

,,,(21k R R R R Λ=为

1{|()min ()}

i i j j k

R h h ≤≤==x x x

k

i ,,2,1Λ=

4.5 简述费希尔判别法的基本思想和方法。 答：基本思想：从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数

1122()p p U u X u X u X '=+++=X u X

L

系数),,,(2

1

'=p

u u u Λu 可使得总体之间区别最大，而使每个总体内部的离差最小。将新样品的p 个指标值代入线性判别函数式中求出()

U X 值，然后根据

判别一定的规则，就可以判别新的样品属于哪个

总体。

4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

答：①费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。

②当k=2时，若则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也等价。

③当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不同。

④距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是X ，W(X)

X

，W(X)

距离判别的判别规则是

X

，W(X)

X

，W(X)<0

二者的区别在于阈值点。当2

1

q q =，)1|2()2|1(C C =时，

1=d ，0ln =d 。二者完全相同。

4.7 设有两个二元总体和 ，从中分别抽取样本计算得到

,,

假设

，试

用距离判别法建立判别函数和判别规则。 样品X=（6，0）’应属于哪个总体？

解：

=

，= ， =

=

即样品X属于总体

4.8 某超市经销十种品牌的饮料，其中有四种畅销，三种滞销，三种平销。下表是这十种品牌饮料的销售价格（元）和顾客对各种饮料的口味评分、信任度评分的平均数。

销售情况产品序号销售价格口味评分信任度评分

畅销1 2.2 5 8

2 2.5 6 7

3 3.0 3 9

4 3.2 8 6

平销5 2.8 7 6

6 3.5 8 7

7 4.8 9 8

滞销8 1.7 3 4

9 2.2 4 2

⑴根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。

⑵现有一新品牌的饮料在该超市试销，其销售价格为3.0，顾客对其口味的评分平均为8，信任评分平均为5，试预测该饮料的销售情况。

解：增加group变量，令畅销、平销、滞销分别为group1、2、3；销售价格为X

1

，口味评分为

X

2，信任度评分为X

3

，用spss 解题的步骤如下：1.在SPSS窗口中选择Analyze→Classify→

Discriminate，调出判别分析主界面，将

左边的变量列表中的“group”变量选入分

组变量中，将X

1

、X

2

、X

3

变量选入自变量中，并选择Enter independents together单

选按钮，即使用所有自变量进行判别分析。

2.点击Define Range按钮，定义分组变量的

取值范围。本例中分类变量的范围为1到

3，所以在最小值和最大值中分别输入1和

3。单击Continue按钮，返回主界面。如

图4.1

图4.1 判别分析主界面

3.单击Statistics…按钮，指定输出的描述

统计量和判别函数系数。选中Function

Coefficients栏中的Fisher’s：给出

Bayes判别函数的系数。（注意：这个选项

不是要给出Fisher判别函数的系数。这个

复选框的名字之所以为Fisher’s，是因为

按判别函数值最大的一组进行归类这种思

想是由Fisher提出来的。这里极易混淆，

请读者注意辨别。）如图4.2。单击Continue

按钮，返回主界面。

图4.2 statistics 子对话框

4.单击Classify…按钮，弹出

classification子对话框，选中Display

选项栏中的Summary table复选框，即要

求输出错判矩阵，以便实现题中对原样本

进行回判的要求。如图4.3。

图 4.3 classification对话框

5.返回判别分析主界面，单击OK按钮，运行

判别分析过程。

1)根据判别分析的结果建立Bayes判别

函数：

Bayes判别函数的系数见表4.1。表中每一列表示样本判入相应类的Bayes判别函数系数。由此可建立判别函数如下：

Group1：3

X

1X

81

.

X

+

843

=

-

-

Y+

689

297

2

16

.

.

12

.

761

1

11

Group2：3

X

2X

94

.

X

Y+

536

-

-

+

=

.

361

2

17

10

.

086

.

707

1

13

Group3：3

3X

X

Y+

X

-

17

=

-

+

960

2

.6

447

.4

1

449

.2

194

.

将各样品的自变量值代入上述三个Bayes判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。

表4.1 Bayes判别函数系数

根据此判别函数对样本进行回判，结果如表4.2。从中可以看出在4种畅销饮料中，有3种被正确地判定，有1种被错误地判定为平销饮料，正确率为75%。在3种平销饮料中，有2种被正确判定，有1种被错误地判定为畅销饮料，正确率为

66.7%。3种滞销饮料均正确判定。整体的正确率为80.0%。

Classification Results a

group Predicted Group Membership

Total

1 2 3

Original Count 1 3 1 0 4

2 1 2 0 3

3 0 0 3 3

% 1 75.0 25.0 .0 100.0

2 33.

3 66.7 .0 100.0

3 .0 .0 100.0 100.0

表4.2 错判矩阵

2) 该新饮料的0.31=X ，82=X ，53=X ，将这3个自变量代入上一小题得到的Bayes 判别函数，2Y 的值最大，该饮料预计平销。也可通过在原样本中增加这一新样本，重复上述的判别过程，并在classification 子对话框中同时要求输出casewise results ，运行判别过程，得到相同的结果。

4.9 银行的贷款部门需要判别每个客户的信用好坏（是否未履行还贷责任），以决定是否给予贷款。可以根据贷款申请人的年龄（1

X ）、受教

育程度（2

X ）、现在所从事工作的年数（3

X ）、未

变更住址的年数（4

X ）、收入（5

X ）、负债收入比

例（6

X ）、信用卡债务（7

X ）、其它债务（8

X ）等

来判断其信用情况。下表是从某银行的客户资料中抽取的部分数据，⑴根据样本资料分别用距离判别法、Bayes判别法和Fisher判别法建立判别函数和判别规则。⑵某客户的如上情况资料为（53，1，9，18，50，11.20，2.02，3.58），对其进行信用好坏的判别。

解：令已履行还贷责任为group0，未履行还贷责任为group1。令（53，1，9，18，50，11.20，2.02，3.58）客户序号为11，group未知。用spss解题步骤如下：

1.在SPSS窗口中选择Analyze→Classify→

Discriminate，调出判别分析主界面，将左边的变量列表中的“group”变量选入分组变量中，将6

X 变量选入自变量中，并选择Enter

1X

independents together单选按钮，即使用所

有自变量进行判别分析。

2.点击Define Range按钮，定义分组变量的取

值范围。本例中分类变量的范围为0到1，所以在最小值和最大值中分别输入0和1。单击Continue按钮，返回主界面。

3.单击Statistics…按钮，指定输出的描述统

计量和判别函数系数。选中Function Coefficients栏中的Fisher’s和Unstandardized。单击Continue按钮，返回主界面。

4.单击Classify…按钮，定义判别分组参数和

选择输出结果。选择Display栏中的Casewise results，以输出一个判别结果表。其余的均保留系统默认选项。单击Continue按钮。5.返回判别分析主界面，单击OK按钮，运行判

别分析过程。

1)用费希尔判别法建立判别函数和判别规则：

未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。

具体见表4.3 。

表4.3 未标准化的典型判别函数系数

由此表可知， Fisher判别函数为：

X

X

X

X

X

.

.0

X

10X

X

+

+

-

-

=

+

+

32

+

+

Y-794

1

710

.0

5

.0

792

8

383

.2

7

024

6

.0

2

687

.0

173

.6

4

3

357

.0

用Y计算出各观测值的具体坐标位置后，再比较它们与各类重心的距离，就可以得知分类，如若与group0的重心距离较近则属于group0，反之亦然。各类重心在空间中的坐标位置如表4.4所示。

表4.4 各类重心处的费希尔判别函数值

用bayes判别法建立判别函数与判别规则，由于此题中假设各类出现的先验概率相等且误

判造成的损失也相等，所以距离判别法与bayes 判别完全一致。

如表4.5所示，group栏中的每一列表示样品判入相应列的Bayes判别函数系数。由此可得，各类的Bayes判别函数如下：

X

0X

X

118

X

X

.0

1

340

X

693

.

-

+

+

-

=

+

-

G-

94

+

+

X

X

10

.

6

723

.

994

7

8

.

.

37

13

504

033

5

.1

2

070

.4

3

943

969

.2

4

X

X

X

X

X

.0

X

184

296

.

171

1X

-

+

-

=

1

+

+

G-

-

+

+

X

116

6

126

.

17

.7

133

8

.

49

7

5

182

.1

2

086

.

874

660

.3

4

681

3

.6

表 4.5 Bayes判别函数系数

将各样品的自变量值代入上述两个Bayes判别函数，得到两个函数值。比较这两个函数值，哪个函数值比较大就可以判断该样品该判入哪一类。

2)在判别结果的Casewise Stastics表中容易查

到该客户属于group0，信用好。

4.10 从胃癌患者、萎缩性胃炎患者和非胃炎患者中分别抽取五个病人进行四项生化指标的化验：血清铜蛋白()

X、蓝色反应()2X、尿吲哚乙酸()3X

1

和中性硫化物()

X，数据见下表。试用距离判别

4

法建立判别函数，并根据此判别函数对原样本进行回判。