第14章 因子分析、聚类分析和判别分析

第一节因子分析

1904年，英国心理学家C．Spearman发表了General Intelligence, Objectively Determined and Measured一文，提出了智力是由“普通因素”和“特殊因素”构成的基本观点，并创立了因子分析（Factor Analysis）的双因素（即普通因素与独特因素）方法。20世纪30年代，L. L. Thurstone认为智力是由一些“基本心理能力”构成的。为了寻找这些基本的心理能力，他提出了通过旋转因素轴的方法确立“简单结构”的因子分析数学方法。他认为，旋转方法得到的因素可以是相关的，也可以是不相关的，如果是相关因素则可以对其进行再次分析，得到高阶因素。与此同时，一些统计学家也对因子分析进行了深入的研究，提出了因子分析的各种数学模型以及计算方法。1933年，Hotelling提出了因子分析的主成分法。1940年，Lawley提出了极大似然法。从此以后，因子分析被确认为是一种有效的统计分析方法。20世纪70年代，探索性的因子分析在方法上已经成熟，不仅用于心理学的智力和性格的研究，而且也用于态度、学习等领域的研究。随着计算机的发展和普及，因子分析在社会学、经济学和管理学等学科中得到了广泛的运用。

一、因子分析的基本原理

在公共管理的研究中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为公共管理研究提供丰富的信息，但也在一定程度上增加了数据采集的工作量和难度，更重要的是在大多数情况下，许多变量之间可能存在相关性而增加了问题分析的复杂性，同时对分析带来不便。如果分别分析每个指标，分析又可能是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。因此需要找到一个合理的方法，减少分析指标的同时，尽量减少原指标包含信息的损失，对所收集的资料作全面的分析。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。因子分析是从研究相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合变量的一种降维的统计分析方法。

在公共管理研究中，往往收集到的数据是多指标的。而且各指标之间通常不是独立的，或多或少存在着一定程度的关系。因子分析的目的是通过少数几个变量去

描述这众多变量间的协方差关系。这少数几个变量是潜在的，而且是难以观察的。在众多的观察变量中，必定存在某些高相关的变量，把这些高相关的变量综合成一组。这样同一组内变量之间是高相关的，而与其他各组的变量却只有较小的相关或是不相关。这些组内高相关的变量可以设想是由一个共同的因子在影响着它们而导致高相关。这个共同的因子称为公共因子。

因子分析是以相关为基础，从协方差或相关阵开始把每个测量变量的方差分解成两个部分：一部分是由所有测量变量共同具有的少数几个因子引起的方差，即公共因子的方差；另一部分是每个测量变量特有的特殊因子引起的方差。公共因子和特殊因子之间是不相关的。若公共因子与特殊因子还存在相关，则说明特殊因子中还可以抽取公共因子。

因子分析的基本过程通常可分为两个步骤：

第一步：主因子分析。是通过对原始变量的相关系数矩阵内部结构的研究，导出能控制所有变量的少数几个综合变量，通过这少数几个综合变量去描述原始的多个变量之间的相关关系。一般来说，这少数的几个综合变量是不可观测的，故称其为因子，我们又称这种通过原始变量相关系数矩阵出发的因子分析为R 型因子分析。因子分析所获得的反映变量间本质联系、变量与公共因子的关系的全部信息通过导出的因子负荷矩阵体现。

第二步：因子解释和命名。从因子分析导出的负荷矩阵的结构出发，把变量按与公共因子相关性大小的程度分组，使同组内变量间的相关性较高，不同组的变量的相关性较低，按公共因子包含变量的特点(即公因子内涵)对因子进行解释和命名。

二、因子分析的数学模型

设m 个可能存在相关关系的原始变量m X X X ,,,21 ，含有P 个独立的公共因子

p F F F ,,,21 (p m ≥),原始变量i X 含有特殊因子i ε (i=1…m)，各个i ε之间互不相

关，且与j F (j=1…p)之间也互不相关，每个i X 可由P 个公共因子和自身对应的徨因子i ε线性表达：

⎪⎪

⎩

⎪⎪

⎨

⎧++++=++++=++++=m p mp m m m p p p p F a F a F a X F a F a F a X F a F a F a X εεε 22112

22221122112121111 用矩阵表示：

⎪⎪⎪⎪⎪⎭

⎫ ⎝⎛+⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪

⎪⎪

⎪

⎭⎫

⎝⎛⨯m p p m ij m F F F a X X X εεε 212121.)(

简记为)

1()

1()()

1(⨯⨯⨯⨯+⋅=m p p m m F A X ε

且满足：(1) p m ≥

(2) COV(F , ε)=0 （即F 与ε是不相关的）

(3) E(F )=0 COV(F )= p p p I =⨯)(11 （即F 1,……F P 不相关，且方差皆为1，均值皆为0）

(4) E(ε)=0 COV(ε)=I m （即m εεε,,,21 互不相关，且都是标准化的

变量，假定m X X X ,,,21 也是标准化的，但并不相互独立）。

式中：A 称为因子负荷矩阵，其元素ij a 表示第i 个变量(i X )在第j 个公共因子j

F 上的负荷，简称因子负荷，如果把i X 看成P 维因子空间的一个向量，则ij a 表示i X 在坐标轴j F 上的投影。ε称作误差或特殊因子。

因子分析的目的在于确定公共因子的个数p 和各公共因素的系数ij a ，并依据这些系数来确定公共因素的内涵。

三、因子负荷、方差贡献率和共同度

因子分析的最后结果通常以因子负荷矩阵的形式给出，这个矩阵的一般形式如表14-1所示。

表14-1：因子负荷矩阵的一般格式