因子分析北京大学公共卫生学院郑迎东多元统计

常用的因子斜交旋转方法
牺牲因子间的独立性，获得更好的因子解释。 • 负荷矩阵（模式矩阵 factor pattern）和结构矩阵（factor structure）
S=BW S 结构矩阵（元素为因子和变量之间的相关系数） B模式矩阵即旋转后的负荷阵 W 因子间的相关阵
因子得分
• 因子（潜变量）在理论一般不能表示成原始变量（可观测变量）的线性组合，但实际 可以用线性模型（回归模型）来估计因子得分。
... xm
am1
...
...
am2 ... amk fk
0
vm um
x Af vu
因子模型假设
E(f ) 0
VEa(ur()f)
0
I
Var(u) I
cov(f,u) E(fu) 0
因子模型的性质
H
2 i
ai21
ai22
...
ai2k
H
2 i
vi2
1
R R* V , R* AA,
1.720
34.390
34.390
2
1.131
22.618
57.009
3
.908
18.167
75.176
4
.785
15.691
90.867
5
.457
9.133
100.000
Extraction Method: Principal Component Analysis.
假设检验，如回答公因子是否“显著”的问题。
因子个数的确定原则
• 不大于（实际上远远少于）原变量的个数 • 研究者事先确定 • 从R*的特征值出发
看累积比例 看特征值大小（大于1准则） 看特征值的变化速率（碎石图） • 假设检验（仅适用ML估计）
碎石图
因子旋转
• 因子负荷矩阵不是唯一的 • 一般要求因子满足“简单结构原理”
Extra cti on .596 .560 .707 .663 .324
Extraction Method: Principal Component Analysis.
R*
Reproduced Correlations
Reproduced Correlation
单脚 站立 反应 时1 握力 背力 身高
x2
a21 f1 a22 f2 ... a2k fk v2u2 ...
xm am1 f1 am2 f2 ... amk fk vmum
因子模型矩阵表示
x1
a11
来自百度文库a12
...
a1k
f1
v1
0 u1
x2 a21 a22 ... a2k f2 ... ...
rp1 rp2 ...
1
R
r11 r21
...
r12 r22 ...
... ...
r1 r2
p p
... ...
rp1
rp 2
...
rpp
V
2 1
...
0
0
2 p
因子模型的参数估计
• 主因子法：对R*进行分解（SMC） • 主成分法：用R代替R*（默认的方法） • ML：精度较高的估计，计算量大。如果样本来自多维正态总体，则能给出关于模型的
背力 .024 -.141 .680 .663b .463
身高 -.005 -.078 .478 .463 .324b
R*的特征值
Total Variance Explained
Initial Eigenvalues
Component 1
Total % of Variance Cumulative %
• 因子分析要求变量间有一定的相关性。
因子分析的发展
• 起源于心理学 Spearman的“智力结构”理论（1904） 一般能力 / 特殊能力 Pearson：主因子法 Thurstone：公因子数目 / 简单结构
验证性因子分析
因子模型
x1 a11 f1 a12 f2 ... a1k fk v1u1
负荷矩阵的每行至少有一个0 对于每个原始变量x，在少数公因子上的
负载较大而在其余的公因子上负载接近0
常用的因子正交旋转方法
• 正交旋转（寻找正交矩阵） varimax（方差最大法）：使因子载荷矩阵的（标度）列元素的平方的方差和达到最大 。有利因子解释 quartimax（四次方最大法）：使因子载荷矩阵的（标度）行元素的平方的方差和达到 最大。有利原始变量解释 equimax（等量最大法）：前二种方法的妥协结果。
握力 .019 -.032
1.000 .535 .264
背力 .042 -.093 .535
1.000 .207
身高 -.025 -.097 .264 .207 1.000
公因子方差Hi2
Communalities
单脚 站立 反应 时1 握力 背力 身高
In iti a l 1.000 1.000 1.000 1.000 1.000
单脚 站立 .596b
-.567
反应 时1 -.567 .560b
-.050
-.074
.024
-.141
-.005
-.078
Extraction Method: Principal Component Analysis. b. Reproduced communalities
握力 -.050 -.074 .707b .680 .478
V diag(v12,...,vm2 )
因子载荷（负荷）矩阵的统计意义
• A的元素aij是xi与fj之间的相关系数 • A的行元素平方和体现原始变量对公因子的依赖程度（xj，xj*） • A的列元素平方和体现公因子fj对x的贡献
1 r12 ... r1p
R
r21
1
...
r2
p
... ... ... ...
• 因子得分的意义
因子分析实例
数据来自2000年全国体质调研，北京、男20-30岁组
Correlation Matrix
Co rre l a ti o n
单脚 站立 反应 时1 握力 背力 身高
单脚 站立 1.000 -.147 .019 .042 -.025
反应 时1 -.147 1.000 -.032 -.093 -.097
因子分析
Factor Analysis
外显变量和潜变量
外显变量 潜变量
上课迟到早退
按时完成作业
学
习态度
自觉复习功课
坚持朗诵课文
作文
词汇 言语表达能力
口语
因子分析
• 因子分析可以看成是主成份分析的一种推广。它的基本目的是用少数几个因子F1、F2 、…去描述许多变量之间的关系。被描述的变量X1、X2…是可以观测的随机变量，即 显在变量，而这些因子F1、F2、…是不可观测的潜在变量。