主成分分析和因子分析说课讲解
SPSS 因子分析和主成分分析
实验课：因子分析实验目的理解主成分（因子）分析的基本原理，熟悉并掌握SPSS中的主成分（因子）分析方法及其主要应用。
因子分析一、基础理论知识1 概念因子分析（Factor analysis）：就是用少数几个因子来描述许多指标或因素之间的联系，以较少几个因子来反映原资料的大部分信息的统计学分析方法。
从数学角度来看，主成分分析是一种化繁为简的降维处理技术。
主成分分析（Principal component analysis）：是因子分析的一个特例，是使用最多的因子提取方法。
它通过坐标变换手段，将原有的多个相关变量，做线性变化，转换为另外一组不相关的变量。
选取前面几个方差最大的主成分，这样达到了因子分析较少变量个数的目的，同时又能与较少的变量反映原有变量的绝大部分的信息。
两者关系：主成分分析（PCA）和因子分析（FA）是两种把变量维数降低以便于描述、理解和分析的方法，而实际上主成分分析可以说是因子分析的一个特例。
2 特点（1）因子变量的数量远少于原有的指标变量的数量，因而对因子变量的分析能够减少分析中的工作量。
（2）因子变量不是对原始变量的取舍，而是根据原始变量的信息进行重新组构，它能够反映原有变量大部分的信息。
（3）因子变量之间不存在显著的线性相关关系，对变量的分析比较方便，但原始部分变量之间多存在较显著的相关关系。
（4）因子变量具有命名解释性，即该变量是对某些原始变量信息的综合和反映。
在保证数据信息丢失最少的原则下，对高维变量空间进行降维处理（即通过因子分析或主成分分析）。
显然，在一个低维空间解释系统要比在高维系统容易的多。
3 类型根据研究对象的不同，把因子分析分为R 型和Q 型两种。
当研究对象是变量时，属于R 型因子分析； 当研究对象是样品时，属于Q 型因子分析。
但有的因子分析方法兼有R 型和Q 型因子分析的一些特点，如因子分析中的对应分析方法，有的学者称之为双重型因子分析，以示与其他两类的区别。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
主成分分析 因子分析
主成分分析 因子分析主成分分析和因子分析是很重要的统计分析方法。
两者都是用于对一组同质或异质的变量进行数据探索研究的技术，它们都可以提供有价值的结论，增强数据有意义的理解。
1. 主成分分析主成分分析（Principal Component Analysis，简称PCA）是从一大组变量中提取具有代表性的正交变量，组成一个新的变量集合。
PCA通过减少变量数量，减少多变量间相关性带来的重复性，从而提升数据分析的准确性和有效性。
注意减少变量数量不是减少观测样本数量，而是把原先高维度的变量合并成一组较低维度的变量。
PCA算法的基本思想是：它分析原始数据集中的变异，并从中提取主要的变量，然后将这些变量的组合（叫做主成分）用推断法来重新构建原来的数据集，最后能够说明原始变量的结构，对被研究的变量结构有系统的解释。
2. 因子分析因子分析（Factor Analysis，简称FA）是一种用来探索相关变量之间潜在关系的统计分析方法。
这一方法注重的是把一系列的变量映射到一个尽可能少的多个隐变量的过程。
其中，这些隐变量就是“因子”，它们是原来变量的代表性变量，且变量之间有因果或相关的结构关系。
FA的基本思想是，将一组变量之间的复杂的相关关系映射到一组基本关系，即因子上。
然后，当每个变量映射到一个或几个因子上后，只需要解释因子就能够完全解释自变量变化的原因。
常用的因子模型有因子旋转、因子分层、因子波动等。
相比较，主成分分析和因子分析都有各自的专业领域，它们都有不同的数据需求和分析方法，在不同的数据处理中也表现出各自的优势和劣势。
主成分分析处理比较复杂的数据，可以根据原始变量的关系构建视图，但不涉及因果关系的推断；而因子分析可以推导出被研究的变量之间的关系，进而探索或验证其原因。
第十三讲-主成分分析和因子分析
协方差
r (X X)(Y Y) lXY Pearson 相关系数 (X X)2 (Y Y)2 lXXlYY
r (X X) (Y Y) (X X)2 (Y Y)2
r 1 n1
XX SX
YY SY
标准化后的协方差
19
3. 求出矩阵R的全部特征值(eigenvalue) i, 第i个主成分的组合系数ai1, ai2, , aim满 足方程组: (r11－ i) ai1+ r12 ai2+ + r1m aim =0 r21 ai1+ (r22－ i) ai2+ + r2m aim=0 rm1 ai1+ rm2 ai2+ + (rmm－ i) aim =0
23
2.主成分的贡献率与累积贡献率
(原始指标值标准化)
m
m
m
Var (Xi ) Var (Zi ) i m(指标个数)
i1
i1
i1
贡献率
i m i
i m
i1
(i 1, 2 ,,m)
累积贡献率
k i (k m)
i1 m
24
3.主成分个数的选取 （1）前k个主成分的累积贡献率>70%。 （2）主成分Zi的特征值i ≥ 1。 （3）结合专业知识判断。
1982 176 120 14 159 14 36 34 3
1983 123 153 16 183 19 57 16 6
1984 186 134 28 177 28 56 58 2
1985 211 156 35 124 33 77 45 7
1986 197 165 29 155 47 86 39 5
数据分析中的因子分析和主成分分析
数据分析中的因子分析和主成分分析在数据分析领域，因子分析和主成分分析是两种常用的多变量分析方法。
它们可以用来处理大量的数据，找出数据的内在规律，并将数据简化为更少的变量。
本文将介绍因子分析和主成分分析的定义、应用以及它们在数据分析中的区别和联系。
一、因子分析因子分析是一种用于研究多个变量之间的潜在因素结构及其影响的统计方法。
它通过将多个观测变量转化为少数几个无关的因子，来解释变量之间的相关性。
因子分析的基本思想是将多个相关观测变量归因于少数几个潜在因子，这些潜在因子不能被观测到，但可以通过观测变量的变化来间接地推断出来。
因子分析通常包括两个主要步骤：提取因子和旋转因子。
提取因子是指确定能够解释原始变量方差的主要共性因子，常用的方法有主成分分析法和最大似然估计法。
旋转因子是为了减少因子之间的相关性，使得因子更易于解释。
常用的旋转方法有正交旋转和斜交旋转。
因子分析的应用非常广泛，可以用于市场研究、社会科学调查、心理学、金融等领域。
例如，在市场研究中，因子分析可以用来确定消费者购买行为背后的潜在因素，从而更好地理解市场需求。
二、主成分分析主成分分析是一种通过线性变换将原始变量转化为一组线性无关的主成分的统计方法。
主成分是原始变量的线性组合，具有较大的方差，能够尽可能多地解释原始数据。
主成分分析的主要思想是将原始变量投影到一个新的坐标系中，使得新坐标系上的第一主成分具有最大方差，第二主成分具有次最大方差，以此类推。
通过选择解释原始数据方差较多的前几个主成分，我们可以实现数据的降维和主要信息提取。
主成分分析在数据降维、特征提取和数据可视化等领域有广泛的应用。
例如，在图像处理中，主成分分析可以用来压缩图像数据、提取重要特征，并且可以在保留图像主要信息的同时减少存储空间的需求。
三、因子分析和主成分分析的区别和联系因子分析和主成分分析在某些方面有相似之处，但也存在明显的区别。
首先，因子分析是用于研究多个观测变量之间的潜在因素结构，而主成分分析是通过线性变换将原始变量转化为一组线性无关的主成分。
主成分分析和因子分析(朱艳科)
主成分分析和因子分析法一、主成分分析概论主成分分析的工作对象是样本点×定量变量类型的数据表。
它的工作目标，就是要对这种多变量的平面数据表进行最佳综合简化。
也就是说，要在力保数据信息丢失最少的原则下，对高维变量空间进行降维处理。
很显然，识辨系统在一个低维空间要比一个高维空间容易得多。
英国统计学家斯格特（M.Scott ）在1961年对157个英国城镇发展水平进行调查时，原始测量的变量有57个。
而通过主成分分析发现，只需5个新的综合变量（它们是原变量的线性组合），就可以95%的精度表示原数据的变异情况，这样，对问题的研究一下子从57维降到5维。
可以想象，在5维空间中对系统进行任何分析，都比在57维中更加快捷、有效。
另一项十分著名的工作是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。
他曾利用美国1929～1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息和外贸平衡等等。
在进行主成分分析后，竟以97.4%的精度，用三个新变量就取代了原17个变量。
根据经济学知识，斯通给这三个新变量要别命名为总收入1F 、总收入变化率2F 和经济发展或衰退的趋势3F （是时间t 的线性项）。
更有意思的是，这三个变量其实都是可以直接测量的。
二、主成分分析的基本思想与理论1、主成分分析的基本思想在对某一事物进行实证研究中，为了更全面、准确地反映出事物的特征及其发展规律，人们往往要考虑与其有关系的多个指标，这些指标在多元统计中也称为变量。
这样就产生了如下问题：一方面人们为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面随着考虑指标的增多增加了问题的复杂性，同时也由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠，这种信息有时甚至会抹杀事物的真正特征与内在规律。
基于上述问题，人们就希望在定量研究中涉及的变量较少，而得到的信息量又较多。
第10章 主成分分析与因子分析
第十章 主成分分析与因子分析一个有经验的裁缝加工一件上衣，需要测量上体长、手臂长、胸围、颈围、肩宽、腰围等14个指标，但在批量生产中，测量每个人的14个指标是不可能的，怎么办呢？人们发现，这14个指标之间具有相关性，如果从这些指标中构造出少数几个指标，只要根据这少数的几个主要指标加工出的上衣就能适合大多数人的体型，即这少数几个指标充分把握了上衣的主要特征。
事实上，采用主成分分析和因子分析便能找到两个不相关的指标“型和号”，根据这两个指标加工出的上衣，特体除外，95%以上的人都能穿。
从14个指标中构造出两个不相关的指标的过程就称为降维。
在现实中类似的降维事例是很多的，在统计学中主要利用因子分子和主成分分析实现对数据的降维处理。
这一章我们将介绍因子分析和主成分分析如何实现降维，以及在SPSS 中如何实现这两种方法。
第一节 主成分分析一、主成分分析的基本思想1. 基本思想和数学模型 在对某一事件进行研究时，常常会涉及到与此相关的多个变量，而这些变量之间往往存在着相关性，很多的变量以及变量间的相关性大大增加了研究的复杂程度。
主成分分析就是在解决上述问题过程中产生的，目的在于用少数几个不相关的主成分来代表原来的多个变量，以方便我们对问题的分析。
所谓的主成分就是指多个变量的线性组合，不同的主成分之间相互无关。
假设有n 个样品，每个样品有p 个变量分别为p X X X ,...,,21，则主成分的个数最多可以有p 个，用公式表示为： p pi i i i X a X a X a F +++=...2211 p i ,...,2,1=。
方程应满足下列条件：（1）1 (2)2221=+++pi i i a a a 。
（2）i F 与j F （p j i j i ,...,2,1,;=≠）不相关。
（3）1F 到p F 方差依次递减。
第一个条件对系数加以限制使得方差不会任意增大。
如果不对系数加以限制，方差可以趋于无穷大就变得没有意义了，同时第一个条件也使得每个主成分都是原始变量的凸函数。
SPSS统计分析第10章主成分分析和因子分析课件
a1mFm a2mFm
apmFm
其中x1，x2, …,xp为p个原有变量，是均值为零，标准差为1的 标准化变量，F1，F2，…，Fm为m个因子变量，m小于p，表 示成矩阵形式为：
主要内容
10.1 主成分分析和因子分析简介 10.2 主成分分析 10.3 因子分析
10.1主成分分析和因子分析简介
10.1.1 基本概念和主要用途
（1） 基本概念
主成分分析就是考虑各指标之间的相互关系，利用降维的方法将多个 指标转换为少数几个互不相关的指标，从而使进一步研究变得简单的一种 统计方法。主成分分析是由Hotelling于1933年首先提出的，是利用“降维 ”的思想，在损失很少信息的前提下把多个指标转化为几个综合指标，称 为主成分。每个主成分均是原始变量的线性组合，且各个主成分之间互不 相关，这就使得主成分比原始变量具有某些更优越的性能。
主要内容
10.1 主成分分析和因子分析简介 10.2 主成分分析 10.3 因子分析
10.2 主成分分析 10.2.1 统计原理与分析步骤
(1)统计原理
10.2 主成分分析
(1)统计原理
y1 e11x1 e12 x2
y2
e21x1
e22 x2
yp ep1x1 ep2 x2
e1m xm e2m xm
x13 2.7 0.6 30.9 9.1 54.2 13.6 15.1 6.7 4.5 66.1 29.2 36 27 1.1 13.2
x14 3.914
4 57.734 12.129 917.328 24.495 21.83 5.498 4.887 278.968 56.453 51.514 17.776 2.001 24.117
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1
3.735 62.254 62.254 3.735 62.254 62.254
2
1.133 18.887 81.142 1.133 18.887 81.142
3
.457
7.619 88.761
4
.323
5.376 94.137
5
.199
3.320 97.457
6
.153
2.543 100.000
Extraction Method: Principal Component Analysis.
CHEM -.675
.513
.499 -.181
.002
.003
LITERAT .893
.306 -.004 -.037
.077
.320
HISTORY .825
.435
.002
.079 -.342 -.083
ENGLISH .836
.425
.000
.074
.276 -.197
Extraction Method: Principal Component Analysis.
-4
-2
0
2
4
-4
-2
0
2
4
主成分分析
对于多维变量的情况和二维类似，也 有高维的椭球，只不过无法直观地看 见罢了。 首先把高维椭球的主轴找出来，再用 代表大多数数据信息的最长的几个轴 作为新变量；这样，主成分分析就基 本完成了。 注意，和二维情况类似，高维椭球的 主轴也是互相垂直的。这些互相正交 的新变量是原先变量的线性组合，叫 做主成分(principal component)。
成绩数据（student.sav）
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
主成分分析
例中的的数据点是六维的；也就是说，每个观 测值是6维空间中的一个点。我们希望把6维空 间用低维空间表示。 先假定只有二维，即只有两个变量，它们由横 坐标和纵坐标所代表；因此每个观测值都有相 应于这两个坐标轴的两个坐标值；如果这些数 据形成一个椭圆形状的点阵（这在变量的二维 正态的假定下是可能的） 那么这个椭圆有一个长轴和一个短轴。在短轴 方向上，数据变化很少；在极端的情况，短轴 如果退化成一点，那只有在长轴的方向才能够 解释这些点的变化了；这样，由二维到一维的 降维就自然完成了。
主成分分析
每个人都会遇到有很多变量的数据。
比如全国或各个地区的带有许多经和社会变 量的数据；各个学校的研究、教学等各种变量 的数据等等。
这些数据的共同特点是变量很多，在如此多的 变量之中，有很多是相关的。人们希望能够找 出它们的少数“代表”来对它们进行描述。
本章就介绍两种把变量维数降低以便于描述、 理 解 和 分 析 的 方 法 ： 主 成 分 分 析 （ principal component analysis ） 和 因 子 分 析 （ factor analysis）。实际上主成分分析可以说是因子 分析的一个特例。在引进主成分分析之前，先 看下面的例子。
a.6 components extracted.
• 这里每一列代表一个主成分作为原来变量线性组合的系 数（比例）。比如第一主成分作为数学、物理、化学、
语文、历史、英语这六个原先变量的线性组合，系数 （比例）为-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。
• 如 用 x1,x2,x3,x4,x5,x6 分 别 表 示 原 先 的 六 个 变 量 ， 而 用 y1,y2,y3,y4,y5,y6 表 示 新 的 主 成 分 ， 那 么 ， 原 先 六 个 变 量 x1,x2,x3,x4,x5,x6与第一和第二主成分y1,y2的关系为： X1=-0.806y1 + 0.353y2 X2=-0.674y1 + 0.531y2 X3=-0.675y1 + 0.513y2 X4= 0.893y1 + 0.306y2 x5= 0.825y1 + 0.435y2 x6= 0.836y1 + 0.425y2
• 怎么解释这两个主成分。前面说过主成分 是原始六个变量的线性组合。是怎么样的
组合呢？SPSS可以输出下面的表。
C o m p o n e n t M a t ra i x
Compo nent
MATH
1 -.806
2
3
.353 -.040
4 .468
5 .021
6 .068
PHYS -.674
.531 -.454 -.240 -.001 -.006
• 这里的Initial Eigenvalues就是这里的六个 主轴长度, 又称特征值(数据相关阵的特征 值). 头两个成分特征值累积占了总方差的 81.142%. 后面的特征值的贡献越来越少.
• 特征值的贡献还可以从SPSS的所谓碎石图看出
Scree Plot
4
3
2
1
0
1
2
3
4
5
6
Component Number
因主 子成 分分 析分
析 和
汇报什么？
假定你是一个公司的财务经理，掌握了公司的 所有数据，比如固定资产、流动资金、每一笔 借贷的数额和期限、各种税费、工资支出、原 料消耗、产值、利润、折旧、职工人数、职工 的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些 指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个 指标简单明了地把情况说清楚。
• 对于我们的数据，SPSS输出为
Total Variance Explained
Initial EigenvEaxltureasction Sums of Squared Loadi
ComponTeonta%l of VariCaunmcuelative T%ota%l of VariCaunmcuelative %
主成分分析
当坐标轴和椭圆的长短轴平行，那么代表 长轴的变量就描述了数据的主要变化，而 代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平 行。因此，需要寻找椭圆的长短轴，并进 行变换，使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信 息，就用该变量代替原先的两个变量（舍 去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也 越有道理。
主成分分析
正如二维椭圆有两个主轴，三维椭球有三 个主轴一样，有几个变量，就有几个主成 分。 选择越少的主成分，降维就越好。什么是 标准呢？那就是这些被选的主成分所代表 的主轴的长度之和占了主轴长度总和的大 部分。有些文献建议，所选的主轴总长度 占 所 有 主 轴 长 度 之 和 的 大 约 85% 即 可 ， 其实，这只是一个大体的说法；具体选几 个，要看实际情况而定。