管理研究方法论 第五节 因子分析

第五节 因子分析

一、因子分析的基本原理

因子分析是用少数几个因子去研究多个原始指标之间关系的一种多元统计方法。它的基本思想是找出决定原始指标的内在的主要的因素，以简化人们的认识，找出决定事物特性的主要原因，对比较复杂的事物进行比较研究。 1.因子模型

设有p 个指标，x1,x2………xp ，每个指标已经标准化，设每个指标可以表示为以下形式：

x 1＝a 11F 1+a 12F 2+………………＋a 1m F m +ε1 x 2= a 21F 1+a 22F 2+………………＋a 2m F m +ε2 …………………………………………… x p ＝a P1F 1+a P2F 2+………………＋a Pm F m +εP

式中的Fj （j=1,2,3,………m ）称为公共因子，（每个变量都与它们有关）。它们是不可观测的，其意义要根据具体问题来解释。εi 称为特殊因子，它们与公共因子彼此独立。a ij 是第i 个指标在第j 个公共因子上的系数，称为因子荷载。 A=( a ij )p ×m 称为荷载因子矩阵。

因子分析的主要任务之一就是根据一组原始数据，确定变量的荷载矩阵。 2.因子荷载矩阵A 的统计意义

（1）aij 是第i 个指标xi 与第j 个公共因子Fj 的相关系数。

A 中第i 行的各个元素（因子荷载）说明了第i 个指标xi 依赖于各个公共因子的程度；第j 列元素说明第j 个公共因子Fj 与各个指标的联系程度。因此常根据该列绝对值较大的因子荷载所对应的指标来解释这个公因子的意义。即这个因子是决定哪个指标的。 （2）A 中第i 行元素的平方和

称为指标x 的共同度。

由于各特殊因子与所有的公共因子之间是独立的，而且各个指标和公共因子均已经标准化，所以有

即

该式说明，指标xi 的方差由两部分组成：第一部分为共同度h i 2,它刻划全部公共因子对指标x I 的总方差的贡献，它越大，说明该指标的全部原始信息被m 个公共因子概括程度越高，m 个公共因子对该指标的描述就越有效。第二部分是单个指标所特有的方差。

（3）A 中第j 列元素的平方和

表示第j 个公共因子Fj 对原始指标所提供的方差贡献之和。它是衡量各个公共因子相

∑==m

j ij

i

a

h 1

22∑=+=m

j i

j

ij

i

F a x 1

2

)

var()var()var(ε)

var(12i

i

h ε+=∑==p

i ij j a

g 1

2

对重要性的一个尺度。

由于各个原始指标都已经标准化，所以原始指标提供的总方差

称

为第j 个公共因子的方差贡献率。方差贡献率αj 越大，说明第j 个公共因子Fj 越重要。 若前m 个公共因子的方差贡献率占到总方差的相当大的比例（如80%以上），那末就可以认为这m 个公共因子较好的概括了原指标。即原指标的信息可用这m 个因子的信息近似代替。

3.因子荷载矩阵A 的估计

给定p 个指标的n 组观察值X=(x ij )n ×p

如何从X 出发，确定较少的m 个公共因子，估计出因子荷载，建立因子模型是因子分析首先要解决的问题。

估计因子荷载的方法常用的有主成份分析法，主因子方法和最大似然函数法。 根据主成份分析原理，根据p 个指标的n 组观察值可以通过转换变为p 个主成份：

Y=U ’X U 为正交矩阵。

y 1=u 11x 1+u 21x 2+……＋u p1x p y 2=u 12x 1+u 22x 2+……＋u p2x p …………………………… y 2=u 1m x 1+u 2m x 2+……＋u pm x p …………………………… y p =u 1p x 1+u 2p x 2+……＋u pp x p

取前面m 个主成份。（这m 个主成分的方差贡献率占了很大比重，如80%以上） 由上式 X=UY

x 1=u 11y 1+u 12y 2+……＋u 1p y p x 2=u 21y 1+u 22y 2+……＋u 2p y p …………………………… x m =u m1y 1+u m2y 2+……＋u mp y p …………………………… x p =u p1y 1+u p2y 2+……＋u pp y p

∑==

p

i i p

x 1

)var(∑===p i ij j j a

p

p g 1

21

α()22112

121,Y U Y U Y

Y

U U UY X +=???

? ?

?==

式中U 1 是与前m 个主成份对应的U 的那一部分。

x 1=u 11y 1+u 12y 2+……＋u 1m y m +u 1m+1y m+1+…+u 1p y p x 2=u 21y 1+u 22y 2+……＋u 2m y m + u 2m+1y m+1+…+u 2p y p ……………………………

X p =u p1y 1+u p2y 2+……＋u pm y m + u pm+1y m+1+…+u pp y p

记上式右边的第二部分为ε 则上式就可以写成

X=U 1Y 1＋ε

则上式已经符合因子分析模型的形式，即Y=（y 1.y 2,……y m ）’可以看作是m 个公共因子，但是yi 没有标准化，其方差为λi ，均值为0。

为使得Y 标准化，作变换

i

i i F y λ=

u 1=(u 11,u 21,……u p1)’ u 2=(u 12,u 22,……u p2)’

u m =(u 1m ,u 2m ……u pm )’

λ11/2u 11, λ21/2u 12 …+λm 1/2u 1m λ11/2u 21, λ21/2u 22,……λm 1/2u 2m A= …………………………………… λ11/2u p1, λ21/2u p2……λm 1/2u pm

则有X=AF ＋ε

x1=λ11/2u 11,F1+λ21/2u 12 F2…+λm 1/2u 1m Fm x2=λ11/2u 21F1+λ21/2u 22,F2……+λm 1/2u 2m Fm ……………………………………………… xp=λ11/2u p1F1+λ21/2u p2F2……+λm 1/2u pm Fm

i i

i y

F λ

=

)

,......,(2211m m u u u A λλλ=

满足因子分析模型的要求。

确定公共因子的个数有两种方式：一是有前m 个公共因子的累计方差贡献率不低于某一阈值（如85%）来确定，或只取特征根大于或等于1的公共因子。 4.因子旋转

符合因子模型要求的因子荷载矩阵A 不是唯一的，公共因子也不是唯一的。 事实上设Γ为任意一个正交矩阵（ΓΓ’=I ）则

X=A ΓΓ’F=（A Γ）（Γ’F ）

则A Γ也满足因子荷载矩阵的要求，Γ’F 的各个份量也可以作为公共因子。

利用这一特性，当公共因子和因子荷载矩阵不便于解决实际问题时，可以设法找一个矩阵Γ，使得变换后的荷载矩阵A Γ与公共因子Γ’F 有比较鲜明的意义。这种方法叫作因子旋转。为了达到这个目的，一般要设法使得旋转变换后，因子荷载矩阵的元素的绝对值向两极分化（行向和列向）。这样便于解释因子的意义。常用的方法叫作“方差最大正交旋转”。 如果正交旋转后公共因子的意义仍不明显，可以作斜交旋转。

5.因子得分

由于公共因子能够充分反映原始指标内部的依赖关系，因子用公共因子代替原始指标更能反映研究对象的性质。因此有时需要反过来将m 个公共因子表示为原来的p 个原始指标的线性组合，即

来计算各个样本的公共因子得分，从而便于对各个样本进行综合评价。 估计因子得分的方法常用的是Thomson 因子得分。

二、利用SPSS 或SAS 进行因子分析 1.用SPSS 进行因子分析

多孩率 节育率 初中以上人口比率 人均国民收入 城镇人口比率 1 .94 89.89 64.51 3577 73.08 2 2.58 92.32 55.41 2981 68.65 3 13.46 90.71 38.20 1148 19.08 4 12.46 90.04 45.12 1124 27.68 5 8.94 90.46 41.83 1080 36.12 6 2.80 90.17 50.64 2011 50.86 7 8.91 91.43 46.32 1383 42.65 8 8.82 90.78 47.33 1628 47.17 9 .80 91.47 62.36 4822 66.23 10 5.94 90.31 40.85 1696 21.24 11 2.60 92.42 35.14 1717 32.81 12 7.07 87.97 29.51 933 17.90 13 14.44 88.71 29.04 1313 21.36 14 15.24 89.43 31.05 943 20.40 15 3.16 91.21 37.85 1372 27.34 16 9.04 88.76 39.71 880 15.52 17 12.02 87.28 38.76 1248 28.91

p

jp j j j x

x x F βββ+++= (2211)

18 11.15 89.13 36.33 976 18.23

19 22.46 87.72 38.38 1845 36.77

20 24.34 84.86 31.07 798 15.10

21 33.21 83.79 39.44 1193 24.05

22 4.78 90.57 31.26 903 20.25

23 21.56 86.00 22.38 654 18.93

24 14.09 80.96 21.49 956 14.72

25 32.31 87.60 7.70 865 12.59

26 11.18 89.71 41.01 930 21.49

27 13.80 86.33 29.69 938 22.04

28 25.34 81.56 31.30 1100 27.35

29 20.84 81.45 34.59 1024 25.72

30 39.60 64.90 38.47 1374 31.91

Factor Analysis initial(最初的) extraction（提取的）共同度表：给出了各个变量的共同度。

期望方差表：

碎石图：

E i g e n v a l u e

成份矩阵

成份)

旋转后成份矩阵

转化)

因子1代表社会经济发展水平，因子2代表计划生育

X1多孩率 x2节育率 x3初中以上人口比率 x4人均国民收入 x5城镇人口比率

因子的旋转转化矩阵

因子得分

即：

F1=0.041X1-0.185X2+0.343X3+0.378X4+0.393X5

F2=-0.510X1+0.627X2-0.032X3-0.100X4-0.113X5

可以算出各省市的因子得分。

估计回归因子分数的协方差矩阵

score(得分) covariance 协方差

2.用SAS进行因子分析

data d1;

input id x1-x5;

cards;

1 .94 89.89 64.51 3577 73.08

2 2.58 92.32 55.41 2981 68.65

3 13.46 90.71 38.20 1148 19.08

4 12.46 90.04 45.12 1124 27.68

5 8.94 90.4

6 41.83 1080 36.12

6 2.80 90.1

7 50.64 2011 50.86

7 8.91 91.43 46.32 1383 42.65

8 8.82 90.78 47.33 1628 47.17

9 .80 91.47 62.36 4822 66.23

10 5.94 90.31 40.85 1696 21.24

11 2.60 92.42 35.14 1717 32.81

12 7.07 87.97 29.51 933 17.90

13 14.44 88.71 29.04 1313 21.36

14 15.24 89.43 31.05 943 20.40

15 3.16 91.21 37.85 1372 27.34

16 9.04 88.76 39.71 880 15.52

17 12.02 87.28 38.76 1248 28.91

18 11.15 89.13 36.33 976 18.23

19 22.46 87.72 38.38 1845 36.77

20 24.34 84.86 31.07 798 15.10

21 33.21 83.79 39.44 1193 24.05

22 4.78 90.57 31.26 903 20.25

23 21.56 86.00 22.38 654 18.93

24 14.09 80.96 21.49 956 14.72

25 32.31 87.60 7.70 865 12.59

26 11.18 89.71 41.01 930 21.49

27 13.80 86.33 29.69 938 22.04

28 25.34 81.56 31.30 1100 27.35

29 20.84 81.45 34.59 1024 25.72

30 39.60 64.90 38.47 1374 31.91

proc factor data=d1 method=prin priors=one p=0.8 simple;

proc factor data=d1 rotate=v n=2 score out=o1;

var X1-x5;

proc print data=o1;

var factor1 factor2;

run;

三、利用因子分析的输出进行主成份分析：

根据主成份分析原理，根据p个指标的n组观察值可以通过转换变为p个主成份：

Y=U’X

U为正交矩阵。

y1=u11x1+u21x2+……＋u p1x p

y2=u12x1+u22x2+……＋u p2x p

……………………………

y2=u1m x1+u2m x2+……＋u pm x p

……………………………

y p=u1p x1+u2p x2+……＋u pp x p

取前面m个主成份。（这m个主成分的方差贡献率占了很大比重，如80%以上）

由上式X=UY

x1=u11y1+u12y2+……＋u1p y p

x2=u21y1+u22y2+……＋u2p y p

……………………………

x m=u m1y1+u m2y2+……＋u mp y p

……………………………

x p=u p1y1+u p2y2+……＋u pp y p

如果取P个主成分，则上述式子就是主成分分析的P个主成分。

剩下的问题是知道上述各个系数就可以了。因子分析输出的系数是此时。应设主成分的个数是P：

λ11/2u11, λ21/2u12…λp1/2u1p

λ11/2u21, λ21/2u22,……λp1/2u2p

A= ………………………………

λ11/2u p1, λ21/2u p2……λp1/2u pp

所以上述系数除以相应的λi1/2

就可以得到各个u ij

y1=u11x1+u21x2+……＋u p1x p

y2=u12x1+u22x2+……＋u p2x p

……………………………

y2=u1m x1+u2m x2+……＋u pm x p

……………………………

y p=u1p x1+u2p x2+……＋u pp x p

注意下标，在由因子分析系数转变为主成分分析的系数时，因子分析的系数是“竖”着用的：

Compone

nt

1 2 3 4

X1 .935 -.304 -.127 .130

X2 .968 .118 -.130 -.178

X3 .905 .406 4.936E-02 .119

X4 .954 -.206 .210 -5.974E-0

2 实力：主成份分析中的学生数据：

Total Variance Explained

Initial Eigenvalu

es

Extraction Sums of Squared Loadings

Compone nt Total % of Variance Cumulativ e % Total % of Variance Cumulativ

e % 1 3.541 88.527 88.527 3.541 88.527 88.527 2 .313 7.835 96.362 .313 7.835 96.362 3 7.941E-02 1.985 98.347 7.941E-02 1.985 98.347 4 6.611E-02 1.653 100.000 6.611E-02 1.653 100.000

Extraction Method: Principal Component Analysis.

y 1=u 11x 1+u 21x 2+……＋u p1x p y 2=u 12x 1+u 22x 2+……＋u p2x p …………………………… y 2=u 1m x 1+u 2m x 2+……＋u pm x p …………………………… y p =u 1p x 1+u 2p x 2+……＋u pp x p

式中的u 就是要求的主成份系数。

Component Matrix

C ompone

nt

1 2 3 4

X1 .935 -.304 -.127 .130

X2 .968 .118 -.130 -.178

X3 .905 .406 4.936E-02 .119

X4 .954 -.206 .210 -5.974E-0

2

Extraction Method: Principal Component Analysis.

a 4 components extracted.

表中给出的是因子分析法中的因子系数：

λ11/2u11, λ21/2u12…+λm1/2u1m

λ11/2u21, λ21/2u22,……λm1/2u2m

A= ………………………………

λ11/2u m1, λ21/2u m2……λm1/2u mm

将其中的第一列除以λ11/2，第二列除以λ21/2，就可以得到第一、第二主成份的系数：y1=u11x1+u21x2+……＋u p1x p

y2=u12x1+u22x2+……＋u p2x p

λ11/2＝3.5411/2=1.88175

λ21/2＝0.3131/2=0.55946

0.935/1.88175= 0.4969 -0.304/0.55946=-0.5433

0.968/1.88175=0.5144 0.118/0.55946=0.2109

0.905/1.88175=0.4809 0.406/0.55946=0.7257

0.954/1.88175=0.5070 -0.206/0.55946=-0.3682

.935 -.304

.968 .118

.905 .406

.954 -.206

与用SAS计算出的下列结果相同：

Z1=0.496966X1＋0.514571X2＋0.480901X3＋0.506928X4

Z2=-.543213X1＋0.210246X2＋0.724621X3-0.368294X4

也可以取前两个因子。系数“竖”着用，结果一样：

SPSS还可以给出因子得分。根据得分，对各因子排序，可以得到各事件在各因子上的排列顺序；用特征值的归一化值给各因子得分加权，可以得出综合评分及排序。

可以用SPSS中的转换中的排序功能进行此时。

因子综合得分。也可以用产生新变量的功能进行。