多元统计分析课后习题解答_第四章

第四章判别分析

简述欧几里得距离与马氏距离的区别和联系。

答：设p维欧几里得空间中的两点X=

和Y=。则欧几里得距离为

。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。

设X,Y是来自均值向量为，协方差为

的总体G中的p维样本。则马氏距离为D(X,Y)=

。当

即单位阵时，

D(X,Y)==即欧几里得距离。

因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。

试述判别分析的实质。

答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空间R p的k个子集，如果

它们互不相交，且它们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p维空间

构造一个“划分”，这个“划分”就构成了一个判别规则。

简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。

①两个总体的距离判别问题

设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是

1

和 2，

对于一个新的样品X ，要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则

X

，D 2（X ，G 1）D 2（X ，G 2）

X

，D 2（X ，G 1）> D 2（X ，G 2，

具体分析，

2212(,)(,)

D G D G -X X

111122111111

111222*********

()()()()

2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2()

22()2()

---''=-++-'

+?

?=--- ???

''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为

X

，W(X)

X

，W(X)<0

②多个总体的判别问题。

设有k 个总体k G G G ,,,21 ，其均值和协方差矩阵分别是k μμμ,,,21 和

k ΣΣΣ,,,21 ，且ΣΣΣΣ====k 21。计算样本到每个总体的马氏距离，

到哪个总体的距离最小就属于哪个总体。 具体分析，21(,)()()D G ααα-'=--X X μΣX μ

1111

22()C α

ααα

α----'''=-+''=-+X ΣX μΣX μΣμX ΣX I X

取ααμΣI 1-=，αααμΣμ1

2

1

-'-=C ，k ,,2,1 =α。

可以取线性判别函数为

()W C αα

α'=+X I X ， k ,,2,1 =α 相应的判别规则为i G ∈X 若 1()max()i k

W C α

αα≤≤'=+X I X

简述贝叶斯判别法的基本思想和方法。

基本思想：设k 个总体k G G G ,,,21 ，其各自的分布密度函数

)(,),(),(21x x x k f f f ，假设k 个总体各自出现的概率分别为k q q q ,,,21 ，

0≥i q ，11

=∑=k

i i q 。设将本来属于i G 总体的样品错判到总体j G 时造成的损

失为)|(i j C ，k j i ,,2,1, =。

设k 个总体k G G G ,,,21 相应的p 维样本空间为 ),,,(21k R R R R =。 在规则R 下，将属于i G 的样品错判为j G 的概率为

x x d f R i j P j

R i )(),|(?= j i k

j i ≠=,,2,1,

则这种判别规则下样品错判后所造成的平均损失为

∑==k

j R i j P i j C R i r 1

)],|()|([)|( k i ,,2,1 =

则用规则R 来进行判别所造成的总平均损失为

∑==k

i i R i r q R g 1

),()(

∑∑===k i k

j i R i j P i j C q 1

1

),|()|(

贝叶斯判别法则，就是要选择一种划分k R R R ,,,21 ，使总平均损失)(R g 达到极小。

基本方法：∑∑===k

i k

j i R i j P i j C q R g 1

1

),|()|()(

x x d f i j C q k i k

j R i i j

∑∑?===1

1

)()|(

∑?∑===k j R k

i i i j

d f i j C q 1

1

))()|((x x

令1

(|)()()k i i j i q C j i f h ==∑x x ，则 ∑?==k

j R j j

d h R g 1

)()(x x

若有另一划分),,,(**2

*1

*

k

R R R R =，∑?==k

j R j j

d h R g 1

*

*)()(x x

则在两种划分下的总平均损失之差为

∑∑?

==?-=-k

i k

j R R j i j

i d h h R g R g 11

*

*)]()([)()(x x x

因为在i R 上)()(x x j i h h ≤对一切j 成立，故上式小于或等于零，是贝叶斯判别的解。

从而得到的划分

)

,,,(21k R R R R =为

1{|()min ()}

i i j j k

R h h ≤≤==x x x

k i ,,2,1 =

简述费希尔判别法的基本思想和方法。

答：基本思想：从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数

1122()p p U u X u X u X '=++

+=X u X

系数),,,(21'=p u u u u 可使得总体之间区别最大，而使每个总体内部的

离差最小。将新样品的p个指标值代入线性判别函数式中求出()

U X 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。

试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

答：①费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。

②当k=2时，若则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也等价。

③当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不同。

④距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规

则是X，W(X)

X，W(X)

距离判别的判别规则是

X

，W(X)

X

，W(X)<0

二者的区别在于阈值点。当21q q =，)1|2()2|1(C C =时，1=d ，0ln =d 。二者完全相同。

设有两个二元总体

和 ，从中分别抽取样本计算得到

,,

假设

，试用距离判别法建立判别函

数和判别规则。 样品X =（6，0）’应属于哪个总体

解：= ，= ， ==

即样品X 属于总体

某超市经销十种品牌的饮料，其中有四种畅销，三种滞销，三种平销。下表是这十种品牌饮料的销售价格（元）和顾客对各种饮料的口味评分、信任度评分的平均数。

销售情况产品序号销售价格口味评分信任度评

分

畅销158 267 339 486

⑴根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。

⑵现有一新品牌的饮料在该超市试销，其销售价格为，顾客对其口味的评分平均为8，信任评分平均为5，试预测该饮料的销售情况。

解：增加group变量，令畅销、平销、滞销分别为group1、2、3；销售价格为X1，口味评分为X2，信任度评分为X3，用spss 解题的步骤如下：

1.在SPSS窗口中选择Analyze→Classify→Discriminate，

调出判别分析主界面，将左边的变量列表中的“group”变量

选入分组变量中，将X1、X2、X3变量选入自变量中，并选择

Enter independents together单选按钮，即使用所有自变

量进行判别分析。

2.点击Define Range按钮，定义分组变量的取值范围。本例中分类变量的范围为1到3，所以在最小值和最大值中分别输入1和3。单击Continue按钮，返回主界面。如图

图判别分析主界面

3.单击Statistics…按钮，指定输出的描述统计量和判别函数系数。选中Function Coefficients栏中的Fisher’s：给出Bayes判别函数的系数。（注意：这个选项不是要给出Fisher判别函数的系数。这个复选框的名字之所以为Fisher’s，是因为按判别函数值最大的一组进行归类这种思想是由Fisher提出来的。这里极易混淆，请读者注意辨别。）如图。单击Continue按钮，返回主界面。

图 statistics子对话框

4.单击Classify…按钮，弹出classification子对话框，

选中Display选项栏中的Summary table复选框，即要求输

出错判矩阵，以便实现题中对原样本进行回判的要求。如图。

图 classification对话框

5.返回判别分析主界面，单击OK按钮，运行判别分析过程。

1)根据判别分析的结果建立Bayes判别函数：

Bayes判别函数的系数见表。表中每一列表示样本判入相应类的Bayes判别函数系数。由此可建立判别函数如下：

Group1：3

X

X

1X

81

Y+

+

=

-

-

.

843

297

2

16

.

.

12

11

.

689

1

761

Group2：3

X

2X

94

.

X

536

-

-

+

Y+

=

.

2

17

.

10

361

086

.

707

1

13

Group3：3

3X

X

Y+

X

-

17

=

-

+

1

2

.6

447

.

960

.4

.2

449

194

将各样品的自变量值代入上述三个Bayes判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。

Classification Function

Coefficients

group

123

x1

x2

x3

(Consta

nt)

Fisher's linear discriminant

functions

表 Bayes判别函数系数

根据此判别函数对样本进行回判，结果如表。从中可以看出在4种畅

销饮料中，有3种被正确地判定，有1种被错误地判定为平销饮料，正确率为75%。在3种平销饮料中，有2种被正确判定，有1种被错误地判定为畅销饮料，正确率为%。3种滞销饮料均正确判定。整体的正确率为%。

Classification Results a

grou p Predicted Group Membership

Total 123

Origi nal Coun

t

13104

21203

30033 %1.0

2.0

3 .0 .0

a. % of original grouped cases correctly classified.

表 错判矩阵

2)

该新饮料的0.31=X ，82=X ，53=X ，将这3个自变量代入上一小题得到的Bayes 判别函数，2Y 的值最大，该饮料预计平销。也可通过在原样本中增加这一新样本，重复上述的判别过程，并在classification 子对话框中同时要求输出casewise results ，运行判别过程，得到相同的结果。

银行的贷款部门需要判别每个客户的信用好坏（是否未履行还贷责任），以决定是否给予贷款。可以根据贷款申请人的年龄（1X ）、受教育程度（2X ）、现在所从事工作的年数（3X ）、未变更住址的年数（4X ）、收入（5X ）、负债收入比例（6X ）、信用卡债务（7X ）、其它债务（8X ）等来判断其信用情况。下表是从某银行的客户资料中抽取的部分数据，⑴根据样本资料分别用距离判别法、Bayes 判别法和Fisher 判别法建立判别函数和判别规则。⑵某客户的如上情况资料为（53，1，9，18，50，，，），对其进行信用好坏的判别。

解：令已履行还贷责任为group0，未履行还贷责任为group1。令（53，1，9，18，50，，，）客户序号为11，group未知。用spss解题步骤如下：

1.在SPSS窗口中选择Analyze→Classify→Discriminate，调

出判别分析主界面，将左边的变量列表中的“group”变量选

入分组变量中，将6

X 变量选入自变量中，并选择Enter

1X

independents together单选按钮，即使用所有自变量进行判

别分析。

2.点击Define Range按钮，定义分组变量的取值范围。本例中

分类变量的范围为0到1，所以在最小值和最大值中分别输入

0和1。单击Continue按钮，返回主界面。

3.单击Statistics…按钮，指定输出的描述统计量和判别函数系

数。选中Function Coefficients栏中的Fisher’s和

Unstandardized。单击Continue按钮，返回主界面。

4.单击Classify…按钮，定义判别分组参数和选择输出结果。选

择Display栏中的Casewise results，以输出一个判别结果表。

其余的均保留系统默认选项。单击Continue按钮。

5.返回判别分析主界面，单击OK按钮，运行判别分析过程。

1)用费希尔判别法建立判别函数和判别规则：

未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。具体见表。

表未标准化的典型判别函数系数

由此表可知， Fisher判别函数为：

X

X

X

X

X

.0

X

794

.

10X

+

+

-

-

=

+

+

Y-

+

+

32

X

687

.0

6

710

.0

792

7

8

383

.2

1

5

024

.0

2

.6

3

173

.0

4

.0

357

用Y计算出各观测值的具体坐标位置后，再比较它们与各类重心的距离，就可以得知分类，如若与group0的重心距离较近则属于group0，反之亦然。各类重心在空间中的坐标位置如表所示。

表各类重心处的费希尔判别函数值

用bayes判别法建立判别函数与判别规则，由于此题中假设各类出现的先验概率相等且误判造成的损失也相等，所以距离判别法与bayes判别完全一致。

如表所示，group栏中的每一列表示样品判入相应列的Bayes判别函数系数。由此可得，各类的Bayes判别函数如下：

X

0X

X

118

X

X

X

1

340

.0

693

.

-

+

+

-

=

-

+

X

G-

94

+

X

+

10

.

6

723

.

994

7

.

504

.

37

13

8

.1

2

070

5

3

033

.4

969

4

.2

943

X

X

X

X

184

.0

X

296

.

171

1X

+

+

+

-

=

1

+

-

X

G-

-

+

X

.3

.7

6

182

126

133

7

8

116

.

49

17

.

5

2

660

.

874

.1

3

4

086

.6

681

表 Bayes判别函数系数

将各样品的自变量值代入上述两个Bayes判别函数，得到两个函数值。比较这两个函数值，哪个函数值比较大就可以判断该样品该判入

哪一类。

2)在判别结果的Casewise Stastics表中容易查到该客户属于

group0，信用好。

从胃癌患者、萎缩性胃炎患者和非胃炎患者中分别抽取五个病人进

行四项生化指标的化验：血清铜蛋白()

X、蓝色反应()2X、尿吲哚乙

1

酸()

X和中性硫化物()4X，数据见下表。试用距离判别法建立判别函3

数，并根据此判别函数对原样本进行回判。