因子分析 2014秋

3
xi i i1F1 i 2 F2 i
i 1,,6
例如，在企业形象或品牌形象的研究中，消费者
可以通过一个有24个指标构成的评价体系，评价百货
商场的24个方面的优劣。
但消费者主要关心的是三个方面，即商店的环境 、商店的服务和商品的价格。因子分析方法可以通过 24个变量，找出反映商店环境、商店服务水平和商品 价格的三个潜在的因子，对商店进行综合评价。
对于多指标问题X=(x1，x2，…xm)，形成的背景 原因是各种各样的，其共同原因称为公共因子；每一 个分量xi又有其特定的原因，称为特定因子。因子分 析就是用较少个数的公共因子的线性函数与特定因子 之和来表达原观察变量X的每一个分量，以便达到合 宜的解释原变量X的相关性并降低其维数。
2015/12/29
2 2 Var (ε) diag ( 12 , 2 ,, p )
二、因子分析模型的性质
1、原始变量X的协方差矩阵的分解
X = AF + ε VarX = AVar ( F ) A + Var (ε)
Var ( F ) I
X = AA + D
A是因子模型的系数
2 2 Var (ε) D diag ( 12 , 2 ,, p )
§ 3
因子载荷矩阵的估计方法
设随机向量 x x1 , x2 ,, x p 的均值为，协方差为 ,为的特征根， 1 2 p 0为对应的 u1 , u2 ,, up 标准化特征向量，则
主成分分析法
1 2 U AA + D Σ = U p
量，而假想变量是不可观测的潜在变量，称为因子。
因子分析（Factor Analysis）模型是主成分分析的推广。 它也是利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出 发，把一些具有错综复杂关系的变量归结为少数几个综合变量的一种 多变量统计方法。相对于主成分分析，因子分析倾向于描述原始变量 之间的相关关系；因此，因子分析的出发点是原始变量的相关矩阵。
因子分析的思想原始于1904年 Charles Spearman 对学生考试成 绩的研究。近年来，随着电子计算机的高速发展，人们将因子分子 的理论成功地应用于心理学、医学、气象、地质、经济学等各个领 域，也使因子分析的理论和方法更加丰富。
本章目标： 1、理解因子分析方法的思想； 2、了解因子分析的基本理论； 3、掌握求解因子的方法步骤； 4、掌握因子分析与主成分分析的异同； 5、能够用SPSS软件进行因子分析，并正确理解系统输出结果。
§ 4 因子旋转（正交变换）
（一）为什么要旋转因子
1 u1 2 u2 ˆ ˆ D ˆ AA ˆ m u m D pm p um m p
2 ˆ i2 sii aij j 1 m
1 u1
2 u 2
2 2 ˆ diag ( ˆ12 , ˆ2 ˆp 其中D ,, )
对角线的
D的主对角线上的元素值越小，则公共因子共享 的成分越多。
2、因子载荷不是惟一的
设T为一个p×p的正交矩阵，令A*=AT，F*=T'F，
则模型可以表示为
X* A*F* + ε 且满足条件因子模型的条件
E (TF) 0
E (ε ) 0
Var (F* ) Var (TF) TVar (F)T I
i j
变量与第 j 个公共因子的相关重要性。绝对值越大，相关的 密切程度越高。
2、变量共同度的统计意义 定义：变量 X 的共同度是因子载荷矩阵的第 i行的元
i
素的平方和。记为 h2 i
统计意义：
a .
j 1 2 ij
m
2 2 1 a Var ( X i ) a i1Var ( F1 ) a imVar ( Fm ) Var ( i ) ij i
因子载荷矩阵
或X AF
X的特殊因子 含随机误差
称为 F1 , F2 ,, Fm 公共因子，是不可观测的变量， 他们的系数称为因子载荷。 i 是特殊因子，是不能 被前m个公共因子包含的部分。并且满足：
cov( F , ) 0, F , 不相关；
1 1 I D( F ) 1
E (ε ) 0
E ( F11 ) E ( F1 2 ) E ( F1 p ) E(F ) E(F ) E(F ) 2 1 2 2 2 p cov( F , ε) E ( Fε ) 0 对角线的 E ( Fp1 ) E ( Fp 2 ) E ( Fp p )
2 2
X i ai1F1 aim Fm i
两边求方差
m
所有的公共因子和特殊因子对变量 X i 的贡献为 1 。如果 好。
2 非常靠近 1 ， i 非常小，则因子分析的 a
j 1 2 ij m
j 1
效果好，从原变量空间到公共因子空间的转化性质
3、公共因子 F j 方差贡献的统计意义 因子载荷矩阵中各列元素的平方和
即 F1 , F2 ,, Fm互不相关，方差为1。
12 2 2 D( ) 2 p
即互不相关，方差不一定相等， i ~ N (0, i2 )。
用矩阵的表达方式
X = AF + ε
协方 差阵
方差阵
E(F ) 0 Var ( F ) I
上式有一个假定，模型中的特殊因子是不重要的，
因而从的分解中忽略了特殊因子的方差。
注：残差矩阵
ˆ ˆ －D ˆ S－AA
其中S为样本的协方差矩阵。
其它方法介绍： 1）主轴因子法 假定m个公共因子只能解释原始变量的部分方差，利用公共因 子方差（或共同度）来代替相关矩阵主对角线上的元素1，并以 新得到的这个矩阵（称之为调整相关矩阵）为出发点，对其分 别求解特征根和特征向量并得到因子解。。。。。。。 2）极大似然法 假定改革因子和特殊因子服从正态分布，得到因子载荷和特殊 因子方差的极大似然估计。。。。。。。
2 S j aij i 1 p
称为所有的 F ( j 1,, m)对 X 的方差贡献和。衡量 i j F j的相对重要性。
§ 3
主成分分析法
因子载荷矩阵的估计方法
Y1 11 X 1 12 X 2 1 p X p Y2 21 X 1 22 X 2 2 p X p Y p p1 X 1 p 2 X 2 pp X p
而这三个公共因子可以表示为：
xi i i1F1 i 2 F2 i3 F3 i
i 1,, 24
称 F1、F2、F3 是不可观测的潜在因子。24个变量
共享这三个因子，但是每个变量又有自己的个性，
不被包含的部分 i ，称为特殊因子。
注：
因子分析与回归分析不同，因子分析中的因 子是一个比较抽象的概念，而回归因子有非常明 确的实际意义； 主成分分析分析与因子分析也有不同，主成 分分析仅仅是变量变换，而因子分析需要构造因 子模型。 主成分分析:原始变量的线性组合表示新的综 合变量，即主成分； 因子分析：潜在的假想变量和随机影响变量 的线性组合表示原始变量。 谁表
达谁？
§ 2 因子分析模型
一、数学模型(正交因子模型)
设 X i (i 1, 2,, p) p 个变量，如果表示为
X i ai 1F1 aim Fm i
(m p)
因子载荷
X 1 11 12 1m F1 1 X 2 21 22 2 m F2 2 或 X p2 pm Fm p p1 p
1 u1
2 u 2
上式给出的表达式是精确的，然而，它实际上 是毫无价值的，因为我们的目的是寻求用少数几个公 共因子解释，故略去后面的p-m项的贡献，有
广义 方差
ˆ ˆ +D ˆ u u u u u u D ˆ Σ AA 1 1 1 2 2 2 m m m
2 2 Var (ε) diag ( 12 , 2 ,, p )
cov(F* , ε) E (F*ε ) 0
三、 因子载荷矩阵中的几个统计特征
1、因子载荷aij的统计意义
因子载荷 aij 是第i个变量与第j个公共因子的相关系数 模型为
X i ai1F1 aim Fm i
X 1 11Y1 21Y2 m1Ym 1 X Y Y Y 2 12 1 22 2 m2 m 2 X p 1 pY1 2 pY2 mpYm p
正交变换
Y UX , X U 'Y
X 1 11Y1 21Y2 p1Y p X 2 12Y1 22Y2 p 2Y p X p 1 pY1 2 pY2 ppY p
1 X Y1 21 2 11 1 1 1 1 X Y1 22 2 12 1 2 1 1 X Y1 2 2 m1 m Y2 m 2 m
1
m
1
Ym 1 Ym 2
2
1
m
1
2
Y2 mp m
m
Ym p
Fi Yi / i
aij j ji
X 1 a11F1 a12 F2 a1m Fm 1 X a F a F a F 2 21 1 22 2 2m m 2 X p a p1F1 a p 2 F2 a pm Fm p