第11章 主成分和因子分析
管理统计SPASS第11章主成分分析与因子分析资料
主成分的计算流程
步骤三：
按如下方法得到主成分 Yi ：
Y1 b1T X ,Y2 b2T X ,,Yk bkT X
பைடு நூலகம்
式中，X ( X1, X 2 ,, X k )T 。
Yi (i 1,, k) 是相互正交的综合变量。将k个主成分放到一
起可得矩阵表达式： Y BT X
Y1 b11 b1k X1
简记为
Y AX
向量 Y 满足如下条件：
指标 Yi 之间不相关。
方差尽可能大，即对 n 个对象的分辨率尽可能强，信息损
失尽可能的少。
主成分分析小结：
(1)从相关的多个指标 X1, X 2 ,, X k 中，求出相互独立 的多个指标 Y1,Y2 ,,Yk 。
(2) Y (Y1,Y2 ,,Yk )T 的方差信息不损失，尽可能等同于 X ( X1, X 2 ,, X k )T 的方差。
Yk bk1 bkk X k
主成分的计算流程
主成分更为明晰的表达式：
Y1 b11X1 b21 X 2 bk1 X k Y2 b12 X1 b22 X 2 bk 2 X k
Yk bk1 X 1 bk 2 X 2 bkk X k
主成分的计算流程
结语：
X 与 Y 的转换关系为：
Y1 a11 a1k X 1
Yk ak1 akk X k
几何解释
在下图 X1 O X 2 的坐标中，散点大致为椭圆状。经过 线性变换可以得到新的坐标 Y1 O Y2 。Y1 在椭圆的长轴上， 反映出了散点在这个方向的最大方差。 Y2 在椭圆的短轴上，反 映出了散点在这个方向的方差。
X2
Y2
X1
Y1
主成分的计算流程
多元分析：主成分分析与因子分析
第十一章 多元分析：主成分分析与因子分析引言主成分分析和因子分析在多元分析框架内是数据结构分析技术，与第六章的多元回归、第七章的多变量协整一起是多变量分析中广泛使用的技术。
它们不同于多元回归。
回归的目标是识别外生变量与内生变量的关系，而在主成分分析和因子分析情形下，仅确定内生变量间的结构关系。
它们也不像协整，变量间不需要平稳性。
在金融、社会科学或其它领域，通常需要识别多变量结构的特征，其有两个特征是被子广泛关心的：1． 多变量结构中的波动性。
2． 变量间的相关或共线性。
在结构的整体变化中，通常是一些变量起产生主要的影响，而其它变量仅有次要的或不显著的影响。
困难的是要了解哪些变量能被确定在这个结构中和它在结构中应怎样度量。
例如，如果两个变量是完全相关的，则不需要第二个变量，它不会带来进一步的信息。
这类似多元回归的共线问题。
在一般情况下，包含哪个变量，剔除哪个变量并不是很清楚的，我们需要有能够程序化的有效方法来识别带有最可用信息的变量或变量组合。
主成分分析（PCA ）是分析多变量结构波动时有用的技术。
因子分析（F A ）在分析多变量结构变量的相关时很有用。
两者都依赖于方差/协方差矩阵，因为这个矩阵在一定范围内包含了变量间有用的全部信息。
因此在一定范围内，两者是重复的或相互补充的。
在这章，我们将方差/协方差矩阵记为C 。
尽管PCA 和F A 都利用方差/协方差矩阵，但它们不同于第四章和第九章中的均值—方差分析。
均值—方差分析度量了一组变量的总体变异性，而没有特别指明一部分变量对总变异性的贡献。
PCA 识别和排序了部分变量在总变异性中的贡献,每个部分变量称为“主成分”。
它识别了部分变量间组成的协方差的强度，每个主成分对总的变异性的贡献，并根据部分变量组的方差进行排序。
使用PCA ，数据内的总体变异性由特征值之和（它等于C矩阵主对角线上元素之和，也称为迹）度量，成分（变量的线性组合）的选择是依次序减少特征值，直到满足总变异性的一个足够大的比例。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
主成分分析和因子分析习题答案
主成分分析和因子分析
习题答案
SANY标准化小组 #QS8QHH-HHGX8Q8-GNHHJ8-HHMHGN#
第11章主成分分析和因子分析
司盈利能力有关，因此可命名为“盈利能力”。
因子2 与X5（资产负债率）、X6（流动比率）X8（资本积累率）这3个变量的载荷系数较大，这三个变量主要涉及企业的偿债能力，因此可命为“偿债能力因子”。
因子3与X1（主营业务利润）、 X4（总资产周转率）、X7（主营业务收增长率）这三个变量的载荷系数较大，这三个变量分别涉及了盈利能力、资产管理水平、企业成能力等，因此，这个因子的命名比较困难。
各公所的因子综合得分和排名如下：
对下表中的50名学生成绩进行主成分分析，可以选择几个综合变量来代表这些学生的六门课程绩
学生代码数学物理化学语文历史英语
1716494526152
2789681808976
3695667759480
4779080686660
5846775607063
6626783718577。
主成分分析与因子分析
1
2
主成分分析
SPSS实现(因子分析与主成分分析)
拿student.sav为例，选Analyze－Data Reduction－Factor进入主对话框； 把math、phys、chem、literat、history、english选入Variables，然后点击Extraction， 在Method选择一个方法（如果是主成分分析，则选Principal Components）， 下面的选项可以随意，比如要画碎石图就选Scree plot，另外在Extract选项可以按照特征值的大小选主成分（或因子），也可以选定因子的数目； 之后回到主对话框（用Continue）。然后点击Rotation，再在该对话框中的Method选择一个旋转方法（如果是主成分分析就选None）， 在Display选Rotated solution（以输出和旋转有关的结果）和Loading plot（以输出载荷图）；之后回到主对话框（用Continue）。 如果要计算因子得分就要点击Scores，再选择Save as variables（因子得分就会作为变量存在数据中的附加列上）和计算因子得分的方法（比如Regression）；之后回到主对话框（用Continue）。这时点OK即可。
年度工作 总结汇报
主成分分析和因子分析
假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。
如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？
当然不能。
计算因子得分
STEP1
STEP2
STEP3
STEP4
因子分析和主成分分析的一些注意事项
卫生统计学：主成分分析与因子分析
通常先对x作标准化处理，使其均值为 零，方差为１．这样就有
x i a i1 f1 a i2 f2 a im fm e i
假定〔１〕fi的均数为 i22 ０，方差为１； 〔２〕ei的均数为０，方差为δi； 〔３〕 fi与ei相互独立．
那么称x为具有m个公共因子的因子模型
〔２〕δi称为特殊方差〔specific variance〕，是不能由公共因子解 释的局部
▪ 因子载荷〔负荷〕aij是随机变量xi与 公共因子fj的相关系数。
▪设
p
g
2 j
a
2 ij
i1
j 1, 2 ,..., m
▪ 称gj2为公共因子fj对x的“奉献〞， 是衡量公共因子fj重要性的一个指标。
根本思想：使公共因子的相对负荷 〔lij/hi2〕的方差之和最大，且保持 原公共因子的正交性和公共方差总和 不变。
可使每个因子上的具有最大载荷的变量 数最小，因此可以简化对因子的解释。
〔2〕斜交旋转〔oblique rotation〕
因子斜交旋转后，各因子负荷发生 了较大变化，出现了两极分化。各 因子间不再相互独立，而彼此相关。 各因子对各变量的奉献的总和也发 生了改变。
ai2j
g
2 j
i1
▪ 极大似然法〔maximum likelihood factor〕
▪ 假定原变量服从正态分布， 公共因子和特殊因子也服从正态分 布，构造因子负荷和特殊方差的似 然函数，求其极大，得 factor〕
▪ 设原变量的相关矩阵为 R=(rij)，其逆矩阵为R-1=(rij)。 各变量特征方差的初始值取为逆 相关矩阵对角线元素的倒数， δi’=1/rii。那么共同度的初始值 为(hi’) 。
数据分析中的因子分析和主成分分析
数据分析中的因子分析和主成分分析在数据分析领域，因子分析和主成分分析是两种常用的多变量分析方法。
它们可以用来处理大量的数据，找出数据的内在规律，并将数据简化为更少的变量。
本文将介绍因子分析和主成分分析的定义、应用以及它们在数据分析中的区别和联系。
一、因子分析因子分析是一种用于研究多个变量之间的潜在因素结构及其影响的统计方法。
它通过将多个观测变量转化为少数几个无关的因子，来解释变量之间的相关性。
因子分析的基本思想是将多个相关观测变量归因于少数几个潜在因子，这些潜在因子不能被观测到，但可以通过观测变量的变化来间接地推断出来。
因子分析通常包括两个主要步骤：提取因子和旋转因子。
提取因子是指确定能够解释原始变量方差的主要共性因子，常用的方法有主成分分析法和最大似然估计法。
旋转因子是为了减少因子之间的相关性，使得因子更易于解释。
常用的旋转方法有正交旋转和斜交旋转。
因子分析的应用非常广泛，可以用于市场研究、社会科学调查、心理学、金融等领域。
例如，在市场研究中，因子分析可以用来确定消费者购买行为背后的潜在因素，从而更好地理解市场需求。
二、主成分分析主成分分析是一种通过线性变换将原始变量转化为一组线性无关的主成分的统计方法。
主成分是原始变量的线性组合，具有较大的方差，能够尽可能多地解释原始数据。
主成分分析的主要思想是将原始变量投影到一个新的坐标系中，使得新坐标系上的第一主成分具有最大方差，第二主成分具有次最大方差，以此类推。
通过选择解释原始数据方差较多的前几个主成分，我们可以实现数据的降维和主要信息提取。
主成分分析在数据降维、特征提取和数据可视化等领域有广泛的应用。
例如，在图像处理中，主成分分析可以用来压缩图像数据、提取重要特征，并且可以在保留图像主要信息的同时减少存储空间的需求。
三、因子分析和主成分分析的区别和联系因子分析和主成分分析在某些方面有相似之处，但也存在明显的区别。
首先，因子分析是用于研究多个观测变量之间的潜在因素结构，而主成分分析是通过线性变换将原始变量转化为一组线性无关的主成分。
因子分析与主成分分析
单击此处添加副标题
电子工业出版社
基本原理
01
主成分分析
02
因子分析
03
本章小结
04
提 纲
主成分分析（Primary Component Analysis）主要是通过降维过程，将多个相关联的数值指标转化为少数几个互不相关的综合指标的统计方法，即用较少的指标来代替和综合反映原来较多的信息，这些综合后的指标就是原来多指标的主要成分。
进行分析，按一定标准确定提取的因子数目；
如果进行的是主成分分析，则将主成分存在的新变量用于继续分析，步骤到此结束；
如果进行的是因子分析，则考察因子的可解释性，并在必要时进行因子旋转，以寻求最佳解释方式；
如有必要，可计算出因子得分等中间指标供进一步分析使用。
因子分析
因子分析是多元统计分析的一个重要分支。其主要目的是运用对诸多变量的相关性研究，即可以用假设的少数几个变量来表示原来变量的主要信息，以便浓缩数据（Data Reduction）。
基本原理
因子分析（Factor Analysis）是主成分分析的推广和发展，也是利用降维方法进行统计分析的一种多元统计方法。因子分析研究相关矩阵或协方差的内部依赖关系，由于它将多个变量综合为少数几个因子，以再现原始变量与因子之间的相互关系，故得到了广泛的应用。
因子分析一般要求提取出的公因子有实际含义，如果分析中各因子难以找到合适的意义，则可以运用适当的旋转，以改变信息量在不同因子上的分析，最终方便对结果的解释。
因子分析
在理论分析和具体SPSS操作方面，因子分析过程需经过如下几个重要步骤。 因子提取。 因子旋转。 计算因子得分。
因子分析
依次单击菜单“分析→降维→因子分析”命令，打开 “因子分析”主对话框
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Y122X122X2u1 X Y222X122X虽然散点图 的形状没有改变，但新的随机变量Y1和Y2已经不在 相关。而且大部分点沿Y1轴散开，在Y1轴方向的变 异较大（即Y1的方差较大），相对来说，在Y2轴方 向的变异较小（即Y2的方差较小）
事实上，随机变量Y1和Y2的方差分别为：
椭圆的长短轴相差得越大，降维也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成分
多维变量的情况和二维类似，也有高维的椭球， 只不过不那么直观罢了。
首先把高维椭球的主轴找出来，再用代表大多 数数据信息的最长的几个轴作为新变量；这样， 主成分分析就基本完成了。
正如二维椭圆有两个主轴，三维椭球有三个主 轴一样，有几个变量，就有几个主轴。
先假定只有二维，即只有两个变量，由横坐标和 纵坐标所代表；
每个观测值都有相应于这两个坐标轴的两个坐标 值；
如果这些数据形成一个椭圆形状的点阵（这在二 维正态的假定下是可能的）该椭圆有一个长轴和 一个短轴。在短轴方向上数据变化很少；
在极端的情况，短轴如退化成一点，长轴的方向 可以完全解释这些点的变化，由二维到一维的降 维就自然完成了。
动地摆出去吗？
需要高度概括
在如此多的变量之中，有很多是相 关的。人们希望能够找出它们的少 数“代表”来对它们进行描述。
需要把这种有很多变量的数据进行 高度概括。
主成分分析
本章介绍两种把变量维数降低以便于描述、 理解和分析的方法：主成分分析 （principal component analysis）和因 子分析（factor analysis）。
-4
-2
0
2
4
-4
-2
0
2
4
椭圆的长短轴
当坐标轴和椭圆的长短轴平行，那么代表长轴的 变量就描述了数据的主要变化，而代表短轴的变 量就描述了数据的次要变化。
但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一 维），降维就完成了。
和二维情况类似，高维椭球的主轴也是互相垂 直的。
这些互相正交的新变量是原先变量的线性组合，
叫做主成分(principal component)。
主成分之选取
选择越少的主成分，降维就越好。什么是 标准呢？
那就是这些被选的主成分所代表的主轴的 长度之和占了主轴长度总和的大部分。
有些文献建议，所选的主轴总长度占所有 主轴长度之和的大约85%即可，其实，这 只是一个大体的说法；具体选几个，要看 实际情况而定。
及其对应的特征向量分别为：
u1(u11,u21)(
2, 2
2) 2
u2 (u12 ,u22 )(22,22)
显然，这两个特征向量是相互正交的单位向量，而且它们
与原来的坐标轴X1和X2的夹角都分别为45°。如果将坐标轴
X1和X2旋转45°，那么点在新坐标系中的坐标（Y1,Y2）与原
坐标（X1,X2）有如下的关系：
V(a Y 1) rE (Y 12)u 1 u 1(2 2 2 2)0 (1 .60 1 .6 ) 2 2 2 1 .61
2
V(Y a 2) rE (Y 2 2) u 2 u 2 (2 22 2 )0 ( 1 .60 1 .6 ) 2 2 2 0 .42 2
可以看出，最大变动方向是由特征向量所决定的，而特 征值则刻画了对应的方差。
实际上主成分分析可以说是因子分析的一 个特例。在引进主成分分析之前，先看下 面的例子。
成绩数据（student.txt）
100个学生的数学、物理、化学、语文、历史、英语 的成绩如下表（部分）。
SPSS数据形式
空间的点
例中数据点是六维的；即每个观测值是6维空间 中的一个点。希望把6维空间用低维空间表示。
x22
x1p x2 p
2、建立p个变量的相关系数阵R：
xn1 xn2 xnp
R(r) ij pp
3、求R的特征值λ1≥λ2≥ … ≥λp＞0 及相应的单位特征向 量：
u 1 (u 11u 21 u p 1) u p (u 1 p
u 2 p
u) pp
4、写出主成分：
Y i u 1 iX 1 u 2 iX 2 u pX ip i1,,p
第11章 主成分分析和因 子分析
汇报什么？
假定你是一个公司的财务经理，掌握了 公司的所有数据，这包括众多的变量， 如：固定资产、流动资金、借贷的数额 和期限、各种税费、工资支出、原料消 耗、产值、利润、折旧、职工人数、分 工和教育程度等等。
如果让你向上级或有关方面介绍公司状 况，你能够把这些指标和数字都原封不
需要注意的是，在SPSS中输出的只是特 征值，而没有直接输出对应的特征向量，输 出的是一个“Component Matrix”，它是 主成分载荷矩阵，表示的是主成分与对应变 量的相关系数。要得到特征向量必须进一步 操作：将Component Matrix中的向量除 以对应特征值的开方即可得到每个特征值对 应的特征向量
在上面的例子中Y1和Y2就是原变量X1和X2的第一主成分和 第二主成分。实际上第一主成分Y1就基本上反映了X1和X2的 主要信息，因此可以选Y1为一个新的综合变量。当然如果再 选Y2也作为综合变量，那么Y1和Y2则反映了X1和X2的全部信 息。
主成分几个有用的性质：
1、第i个主成分的方差等于对应的第i个特征值
下面通过一个例子在二维空间中讨论主成 分的求解：
假定某年级学生的语文成绩x1和数学成绩x2的
相关系数ρ＝0.6。设x1和x2分别为标准化后的分
数，其散点图如图所示。
那么随机向量 X(X1,X2) 的方差－协差阵（相关系数矩阵）为：
1 21 1 1 22 201 .6 01 .6
由此有：（Σ －λI）u=0 可以求出Σ的特征值分别为：λ1＝1.6 λ2＝0.4
Va(Yr)
i
i
2、标准化后各个变量Xi的方差之和等于所有特征值之和
p
p
ii i
i1
i1
3、第j个主成分Yj与第i个变量Xi的相关系数：
(Yj , Xi )
u j ji
ii
综上我们可以总结出主成分的求解步骤：
对于有p个变量n个个案的数据 x11
1、将原始数据标准化，得到矩阵：
X
x21
x12