ch19主成分分析和因子分析2011

因子分析就是要找出某个问题中可直接测量的、具 有一定相关性的诸指标，如何受少数几个在专业上有 意义、但不可直接测量到且相对独立的因子支配的规 律，从而用可测量的指标来间接确定诸因子的状态。
如果想知道每个变量与公共因子的关系，则 就要进行因子分析。因子分析模型为：
x1 a11F1 a12F2 a1mFm ε 1 x 2 a 21F1 a 22F2 a 2pFP ε 2 x p a p1F1 a p2F2 a pmFm ε p
变量Xj的共同度(Communalities)：因子载荷 阵中各行元素的平方和
p
hi2 aij2 ( j 1,2,..., m) i 1
表示公因子Fj对第i个变量总方差的贡献，也 就是变量xi的信息能够被m个公因子描述的程度。
x1 a11F1 a12F2 a1mFm ε 1 x 2 a 21F1 a 22F2 a 2pFP ε 2 x p a p1F1 a p2F2 a pmFm ε p
.874
179.633 10
.000
球形检验：ρ=0（各变量彼此独立），拒绝假设， 5个变量互有关系
数据越相关，降维效果就越好！！！
由相关系数矩阵R计算得到的特征值、方差贡献率
Total Variance Explained
Initial Eigenvalues
Extraction Sums of Squared Loadings
这样，由二维到一维的降维就完成了
F2
•••••••
•••
• •
•
••••••••••••••••••••••••
x 1
如果这个椭圆越扁，则降维效果越好
主成分
对于多维变量的情况和二维类似，也有高维的椭球， 不过我们无法直观地看见。
首先将高维椭球的主轴找出来，再用代 表大多数数据信息的最长的几个轴作为 新变量；这样，主成分分析就基本完成 了。
主成分的贡献率
1）贡献率：第i个主成分的方差在全部方差中所占
比重 i ip1i，称为贡献率，反映了原来P个指 标多大的信息，有多大的综合能力 。
2）累积贡献率：前k个主成分共有多大的综合能力，
用这k个主成分的方差和在全部方差中所占比重
k

i 1
i
p

i 1
i
来描述，称为累积贡献率。
应该选择多少个主成分？
主成分分析的目的之一是希望用尽可能少的主成 分y1，y2，…，yk（k≤p）代替原来的p个指标。
在实际工作中，主成分个数的多少取决于能够反 映原来变量80%以上的信息量为依据，即当累积 贡献率 ≥ 80%时的主成分的个数就足够了。
最常见的情况是主成分为2到3个。
例：某医学院测 得20例肝病患者的４ 项肝功能指标∶转氨 酶、肝大指数、硫酸 锌浊度和胎甲球。试 对数据进行降维。
Component Matrixa
Component
λ1= 1.718 λ2= 1.094
1
2
主成分系数
转氨酶
.918 .099
肝大指数 .904 -.297
0.700 0.095
硫酸锌浊度 .115 .945
0.690 -0.284
胎甲球
.213 .319
0.088 0.904
Extraction Method: Principal Component Analysis0..163
第19章 主成分分析 和因子分析
主成分分析
Principal component analysis, PCA
一、数据降维
我们经常会遇到有很多变量的数据。
例如，在某次儿童生长发育调查中测量了 许多指标，其中有关心脏的指标为心脏横径、 纵径、宽径、胸腔横径以及心脏面积。
这些数据的共同特点是变量很多，在如此 多的变量之中，有很多是相关的（变量的共线 性问题）。
找到更少的指标 代替原来的指标。
４项肝功能指标.sav
主成分分析 特征根大于1的公因子被提取；
KMO统计量：接近0.9
KMO and Bartlett's Test
Kaiser-Meyer-Olkin Measure of Sampling Adequacy.
Bartlett's Test of Sphericity Approx. Chi-Square df Sig.
Rotation Sums of Squared Loadings
Comp
% of Cumula
% of Cumulaห้องสมุดไป่ตู้
% of Cumula
onent Total Variance tive % Total Variance tive % Total Variance tive %
1
1.718 42.956 42.956 1.718 42.956 42.956 1.687 42.179 42.179
三、特征根（Eigenvalue）
回顾：协方差
MPx1x2
( X1 X1)( X 2 X 2 ) n 1
对于p个随机变量X = (x1,…, xp)，


2 1
12
1p
设X的协方差阵为
Σx

21


2 2



2
p


p1
p2


2 p

因子分析
Factor analysis
主成分分析的目的是尽可能多地提取各 变量的变异。
因子分析则需要为每一个公因子寻找适 当的生物学解释。
一、因子分析的适用
例如：考虑５项生理指标─收缩压、舒张压、心跳 间隔、呼吸间隔和舌下温度，从生理学知识知道：这 ５项指标是受植物神经的交感神经和副交感神经支配 的，而这２种神经的状态也不能直接测定出来。
和二维情况类似，高维椭球的主轴也是 互相垂直的。这些互相正交的新变量是 原先变量的线性组合（用原来变量以方 程的形式表示），叫做主成分。
二、主成分分析的数学模型
假设所讨论的实际问题中，有p个指标，也 就是p个随机变量，记为X1, X2, … , Xp
主成分分析就是要将这p个指标的问题，转 变为讨论p个指标的线性组合的问题
公因子Fj的方差贡献率（Contribution）：因 子载荷阵中，各列元素的平方和
m
g j2 aij2 (i 1,2,..., p) j 1
表示公因子Fj对x所提供方差的总和（其实就 是j），它是衡量公因子相对重要性的指标。方 差贡献率越大，表明公因子对X的贡献越大。
例：100个学生的数学、物理、化学、语文、 历史、英语的成绩如下表。能不能利用找到的 综合变量来对学生排序呢？student.sav
0.305
a. 2 components extracted.
y1=0.700*zx1+0.690*zx2+0.088*zx3+0.163*zx4
y2=0.095*zx1 -0.284*zx2+0.904*zx3+0.305*zx4
这些系数表示主成分和相应的原先变量的相关性。 相关系数(绝对值)越大，主成分对该变量的代表性也越大。
x 1
••
数据的信息
在统计学上数据的信息实际上是由数据的变异（如方差）
所表示。这个椭圆有一个长轴和一个短轴。在短轴方向上， 数据变化很少，在长轴的方向数据的变异明显较大；
如果沿椭圆的长短轴方向重新建立一
x
F1
2
个坐标系，新产生的两个变量和原始 变量存在数学换算关系，但彼此不再 相关；
新变量的信息分布明显不同，长轴代 表了大部分的数据信息，而短轴代表 的信息则可以忽略了；
% of Cumulative
Total Variance
%
3.120 52.004
52.004
1.603 26.711
78.714
主成分载荷
Component Matrix a
Component
λ1= 3.120 λ2= 1.603
主成分系数
math phys
1 -.540 -.559
2 .680 .569
aij 称为因子载荷（factor loading）。
因子载荷的统计学意义：就是第i个变量与第j 个公共因子的相关系数，即表示变量xi依赖于Fj 的份量（比重），心理学家将它称为载荷。
x1 a11F1 a12F2 a1mFm ε 1 x 2 a 21F1 a 22F2 a 2pFP ε 2 x p a p1F1 a p2F2 a pmFm ε p
-0.306 -0.317
我们希望能够找出它们的少数“代表”来 对它们进行描述(数据降维)。
数据的信息
先假定只有二维，即只有两个变
量，它们由横坐标和纵坐标所代表；
因此每个观测值都有相应于这两个坐
标轴的两个坐标值，即为2维空间的
x2
一个点；
如果两个变量相关这些数据形成 一个椭圆形状的点阵。
••••••••••
••••• •••••••••••••••••• ••
Extraction .852 .906 .907 .147
Extraction Method: Principal Component Analysis.
表示各变量中所含信息能被提取的程度。
没有直接给出主成分系数，而是给出的主成分负荷
(载荷,loading)，可将载荷系数除以相应的 i ，得到主 成分系数。
Σx的特征根。
特征值Eigenvalue的含义
以儿童生长发育数据为例,特征根就是指5维 空间五个主轴长度。