主成分与因子分析
主成分和因子分析
• 对于计算机，因子分析并不费事。
• 从输出旳成果来看，因子分析也有 因子载荷（factor loading）旳概念， 代表了因子和原先变量旳有关系数。 但是在因子分析公式中旳因子载荷 位置和主成份分析不同。
• 因子分析也给出了二维图；其解释 和主成份分析旳载荷图类似。
• 主成份分析与因子分析旳公式上旳区别
xp ap1 f1 ap2 f2 apm fm p
f1 11x1 12 x2 1p xp f2 21x1 22 x2 2 p xp
因子得分
fm m1x1 m2 x2 mp xp
因子分析旳数学
• 因子分析需要许多假定才 干够解. • 详细公式.
• 对于我们旳数据，SPSS因子分析输出为
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里旳Initial Eigenvalues就是这里旳六个
主轴长度，又称特征值（数据有关阵旳特
• 假如长轴变量代表了数据包括旳 大部分信息，就用该变量替代原
先旳两个变量（舍去次要旳一 维），降维就完毕了。
• 椭圆旳长短轴相差得越大，降维 也越有道理。
-4
-2
0
2
4
-4
-2
0
2
4
主轴和主成份
• 多维变量旳情况和二维类似，也有 高维旳椭球，只但是不那么直观罢 了。
• 首先把高维椭球旳主轴找出来，再 用代表大多数数据信息旳最长旳几 种轴作为新变量；这么，主成份分 析就基本完毕了。
因子分析与主成分分析的基本概念
因子分析与主成分分析的基本概念因子分析和主成分分析是常用的多元统计分析方法，用于研究变量之间的关系和数据的结构。
本文将介绍因子分析和主成分分析的基本概念和应用场景。
一、因子分析因子分析是一种多元统计分析方法，用于揭示观测变量背后的潜在因子结构。
通过降维，将一组原始变量拆分为若干个潜在因子，以解释观测变量之间的关系和共享的信息。
1. 基本原理在因子分析中，我们将观测变量表示为潜在因子和误差项的线性组合。
其中，潜在因子是无法直接观测到的，而误差项则代表了无法被潜在因子解释的特殊因素。
该方法基于以下假设：观测变量间的相关性可以通过潜在因子来解释。
2. 应用场景因子分析广泛应用于一些具有观测变量过多、相关性较高的数据集分析中，如社会科学研究、心理学测试、市场调查等。
通过因子分析，我们可以更好地理解变量之间的关系，挖掘变量背后的潜在结构。
二、主成分分析主成分分析是一种降维技术，它通过寻找观测变量间的最大方差方向，将原始变量投影到新的坐标系上。
新坐标系的特征向量称为主成分，通过保留最重要的主成分，我们可以将高维数据转化为低维表示。
1. 基本原理在主成分分析中，我们通过数学方法寻找原始数据的特征向量和特征值。
特征向量表示了数据在新空间中的方向，而特征值则表示了数据在该方向上的方差。
我们选择特征值最大的几个特征向量作为主成分，将原始数据投影到这些主成分上。
2. 应用场景主成分分析广泛应用于数据可视化、维度约减和特征选择等领域。
通过主成分分析，我们可以减少数据的维度，消除冗余信息，提取出最具代表性的特征，从而更方便地进行数据分析和建模。
结语因子分析和主成分分析是常用的多元统计分析方法，它们可以帮助我们揭示数据背后的潜在结构和关系。
通过降维和特征提取，我们可以更好地理解和解释数据，为后续的研究和应用提供支持。
注意事项：由于文章给定的题目是“因子分析与主成分分析的基本概念”，因此本文采用说明文的格式，分别介绍了因子分析和主成分分析的基本原理和应用场景。
主成分分析与因子分析的异同比较及应用
主成分分析与因子分析的异同比较及应用一、相似之处：1.降低数据维度：主成分分析和因子分析都是降维方法，通过将原始变量进行线性组合，生成一组新变量，减少原始数据的维度。
2.揭示变量之间的关系：主成分分析和因子分析都可以揭示数据中变量之间的相关性和潜在结构，更好地理解变量之间的关系。
3.数据依赖：主成分分析和因子分析都依赖原始数据的线性关系。
二、主成分分析的特点和应用：1.数据探索：主成分分析可以用于对数据进行探索性分析，揭示数据中的模式和变量之间的关系。
2.特征选择：主成分分析可以用于提取最相关的变量，帮助选择最能代表数据信息的特征。
3.数据压缩：通过保留主要的主成分，主成分分析可以将数据压缩成较低维度，减少存储和计算的开销。
4.降噪：主成分分析可以通过去除与主成分相关较小的维度，减少噪声的影响。
三、因子分析的特点和应用：因子分析的目标是通过找到能够解释原始变量间共同方差的不可观测因子，来揭示变量背后的潜在结构。
因子分析的原理是通过将多个变量通过线性函数关系表示为少数几个潜在因子的和。
因子分析可以用于以下场景：1.变量间关系建模：因子分析可以用于建立变量之间的概念模型，识别变量的共同因子、独特因子和测量误差。
2.假设测试：因子分析可以用于检验变量之间的因果关系，以验证一些假设。
3.变量缩减：通过识别共同的因子，并组合成新的因子变量，因子分析可以减少数据集的维度。
4.数据恢复：因子分析可以通过基于因子提取的结果，恢复原始变量的丢失信息。
四、主成分分析与因子分析的区别：1.目标：主成分分析的目标是将原始变量转化为一组新的不相关的维度，以解释数据方差最大化；而因子分析的目标是将原始变量转化为一组潜在因子，以解释变量间的共同方差。
2.变量假设：主成分分析假设所有变量是观测变量的线性组合，而因子分析假设所有变量既有观测变量，也有不可观测的因子变量。
3.因素解释：主成分分析的主要解释对象是方差，因而主成分的解释目标是能够包含尽可能多的方差；而因子分析的解释对象是共同方差，因而因子的解释目标是能够解释原始变量之间的共同方差。
因子分析、主成分分析
通过主成分分析，可以研究多个变量之间的相关性，揭示变量
之间的内在联系。
多元回归分析
03
在多元回归分析中，主成分分析可以用来消除变量间的多重共
线性，提高回归分析的准确性和稳定性。
金融数据分析
风险评估
在金融数据分析中，主成分分析可以用来评估投资组合的风险， 通过提取主要因子来反映市场的整体波动。
市场趋势分析
主成分分析案例：金融数据分析
总结词
主成分分析用于金融数据分析中，能够 降低数据维度并揭示主要经济趋势。
VS
详细描述
在金融领域，主成分分析被广泛应用于股 票、债券等资产组合的风险评估和优化。 通过对大量金融数据进行主成分分析，可 以提取出几个关键主成分，这些主成分代 表了市场的主要经济趋势。投资者可以利 用这些信息进行资产配置和风险管理。
特征提取
主成分分析能够提取出数据中的 主要特征，突出数据中的主要变 化方向，有助于揭示数据的内在 规律。
数据可视化
降低数据维度后，数据的可视化 变得更加容易，有助于直观地理 解和分析数据。
多元统计
多元数据描述
01
主成分分析可以用来描述多元数据的总体特征，提供对多元数
据分布的整体理解。
多元相关分析
02
目的
通过找出影响观测变量的潜在结构， 更好地理解数据的意义，简化复杂数 据的分析，并解决诸如多重共线性等 问题。
因子分析的原理
1 2 3
基于相关性
因子分析基于观测变量之间的相关性，通过找出 这些相关性背后的公因子来解释变量之间的依赖 关系。
降维
通过提取公因子，将多个观测变量的复杂关系简 化为少数几个潜在因子的线性组合，实现数据的 降维。
主成分分析 因子分析
主成分分析 因子分析主成分分析和因子分析是很重要的统计分析方法。
两者都是用于对一组同质或异质的变量进行数据探索研究的技术，它们都可以提供有价值的结论，增强数据有意义的理解。
1. 主成分分析主成分分析（Principal Component Analysis，简称PCA）是从一大组变量中提取具有代表性的正交变量，组成一个新的变量集合。
PCA通过减少变量数量，减少多变量间相关性带来的重复性，从而提升数据分析的准确性和有效性。
注意减少变量数量不是减少观测样本数量，而是把原先高维度的变量合并成一组较低维度的变量。
PCA算法的基本思想是：它分析原始数据集中的变异，并从中提取主要的变量，然后将这些变量的组合（叫做主成分）用推断法来重新构建原来的数据集，最后能够说明原始变量的结构，对被研究的变量结构有系统的解释。
2. 因子分析因子分析（Factor Analysis，简称FA）是一种用来探索相关变量之间潜在关系的统计分析方法。
这一方法注重的是把一系列的变量映射到一个尽可能少的多个隐变量的过程。
其中，这些隐变量就是“因子”，它们是原来变量的代表性变量，且变量之间有因果或相关的结构关系。
FA的基本思想是，将一组变量之间的复杂的相关关系映射到一组基本关系，即因子上。
然后，当每个变量映射到一个或几个因子上后，只需要解释因子就能够完全解释自变量变化的原因。
常用的因子模型有因子旋转、因子分层、因子波动等。
相比较，主成分分析和因子分析都有各自的专业领域，它们都有不同的数据需求和分析方法，在不同的数据处理中也表现出各自的优势和劣势。
主成分分析处理比较复杂的数据，可以根据原始变量的关系构建视图，但不涉及因果关系的推断；而因子分析可以推导出被研究的变量之间的关系，进而探索或验证其原因。
主成分分析与因子分析
1
2
主成分分析
SPSS实现(因子分析与主成分分析)
拿student.sav为例，选Analyze－Data Reduction－Factor进入主对话框； 把math、phys、chem、literat、history、english选入Variables，然后点击Extraction， 在Method选择一个方法（如果是主成分分析，则选Principal Components）， 下面的选项可以随意，比如要画碎石图就选Scree plot，另外在Extract选项可以按照特征值的大小选主成分（或因子），也可以选定因子的数目； 之后回到主对话框（用Continue）。然后点击Rotation，再在该对话框中的Method选择一个旋转方法（如果是主成分分析就选None）， 在Display选Rotated solution（以输出和旋转有关的结果）和Loading plot（以输出载荷图）；之后回到主对话框（用Continue）。 如果要计算因子得分就要点击Scores，再选择Save as variables（因子得分就会作为变量存在数据中的附加列上）和计算因子得分的方法（比如Regression）；之后回到主对话框（用Continue）。这时点OK即可。
年度工作 总结汇报
主成分分析和因子分析
假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。
如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？
当然不能。
计算因子得分
STEP1
STEP2
STEP3
STEP4
因子分析和主成分分析的一些注意事项
卫生统计学：主成分分析与因子分析
通常先对x作标准化处理，使其均值为 零，方差为１．这样就有
x i a i1 f1 a i2 f2 a im fm e i
假定〔１〕fi的均数为 i22 ０，方差为１； 〔２〕ei的均数为０，方差为δi； 〔３〕 fi与ei相互独立．
那么称x为具有m个公共因子的因子模型
〔２〕δi称为特殊方差〔specific variance〕，是不能由公共因子解 释的局部
▪ 因子载荷〔负荷〕aij是随机变量xi与 公共因子fj的相关系数。
▪设
p
g
2 j
a
2 ij
i1
j 1, 2 ,..., m
▪ 称gj2为公共因子fj对x的“奉献〞， 是衡量公共因子fj重要性的一个指标。
根本思想：使公共因子的相对负荷 〔lij/hi2〕的方差之和最大，且保持 原公共因子的正交性和公共方差总和 不变。
可使每个因子上的具有最大载荷的变量 数最小，因此可以简化对因子的解释。
〔2〕斜交旋转〔oblique rotation〕
因子斜交旋转后，各因子负荷发生 了较大变化，出现了两极分化。各 因子间不再相互独立，而彼此相关。 各因子对各变量的奉献的总和也发 生了改变。
ai2j
g
2 j
i1
▪ 极大似然法〔maximum likelihood factor〕
▪ 假定原变量服从正态分布， 公共因子和特殊因子也服从正态分 布，构造因子负荷和特殊方差的似 然函数，求其极大，得 factor〕
▪ 设原变量的相关矩阵为 R=(rij)，其逆矩阵为R-1=(rij)。 各变量特征方差的初始值取为逆 相关矩阵对角线元素的倒数， δi’=1/rii。那么共同度的初始值 为(hi’) 。
数据分析中的因子分析和主成分分析
数据分析中的因子分析和主成分分析在数据分析领域，因子分析和主成分分析是两种常用的多变量分析方法。
它们可以用来处理大量的数据，找出数据的内在规律，并将数据简化为更少的变量。
本文将介绍因子分析和主成分分析的定义、应用以及它们在数据分析中的区别和联系。
一、因子分析因子分析是一种用于研究多个变量之间的潜在因素结构及其影响的统计方法。
它通过将多个观测变量转化为少数几个无关的因子，来解释变量之间的相关性。
因子分析的基本思想是将多个相关观测变量归因于少数几个潜在因子，这些潜在因子不能被观测到，但可以通过观测变量的变化来间接地推断出来。
因子分析通常包括两个主要步骤：提取因子和旋转因子。
提取因子是指确定能够解释原始变量方差的主要共性因子，常用的方法有主成分分析法和最大似然估计法。
旋转因子是为了减少因子之间的相关性，使得因子更易于解释。
常用的旋转方法有正交旋转和斜交旋转。
因子分析的应用非常广泛，可以用于市场研究、社会科学调查、心理学、金融等领域。
例如，在市场研究中，因子分析可以用来确定消费者购买行为背后的潜在因素，从而更好地理解市场需求。
二、主成分分析主成分分析是一种通过线性变换将原始变量转化为一组线性无关的主成分的统计方法。
主成分是原始变量的线性组合，具有较大的方差，能够尽可能多地解释原始数据。
主成分分析的主要思想是将原始变量投影到一个新的坐标系中，使得新坐标系上的第一主成分具有最大方差，第二主成分具有次最大方差，以此类推。
通过选择解释原始数据方差较多的前几个主成分，我们可以实现数据的降维和主要信息提取。
主成分分析在数据降维、特征提取和数据可视化等领域有广泛的应用。
例如，在图像处理中，主成分分析可以用来压缩图像数据、提取重要特征，并且可以在保留图像主要信息的同时减少存储空间的需求。
三、因子分析和主成分分析的区别和联系因子分析和主成分分析在某些方面有相似之处，但也存在明显的区别。
首先，因子分析是用于研究多个观测变量之间的潜在因素结构，而主成分分析是通过线性变换将原始变量转化为一组线性无关的主成分。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
18
“Extraction”对话框选项
• Method:
– Principal components (主成分分析，系统 默认) – Unweighted least square (普通最小二乘法) – Generalized least squares (广义最小二乘 法) – Maximum likelihood (最大似然法) – Principal Axis factoring (主轴因子法) – Alpha (α因子提取法) – Image (映像分析法)
26
27
全部有 关变量
28
• 判断“是否适合作因子分析” • 请进行以下操作………….
29
30
31
• 输出“碎石图” 请作以下操作………..
32
33
34
• 进行因子旋转（一般都需要） • 否则所得因子无法命名（缺乏实际经济意 义） • 操作……….
35
36
该选项（方差最大法）最常用
37
• 计算因子得分 • 操作…………..
38
39
40
• 要求因子载荷系数按大小顺序排列 • 操作……….
41
42
43
44
• 输出结果：相关系数矩阵 • 用于判断是否作因子分析 • 如果存在大量的接近零的相关系数，则 不适合作因子分析。
Correlation Matrix 营 业 收 益 率 .087 .812 .190 1.000 .978 .984 .650 -.076 -.080 -.007 -.079 主 营 业 务 收 入 增 长 率 .126 -.062 .025 -.080 -.059 -.063 -.108 1.000 1.000 .710 1.000
Total Variance Explained Initi al Eigenv alues % of Cum Tota Varia ulativ l nce e% 4.33 39.35 39.35 3.59 32.64 72.00 1.60 14.50 86.50 .644 5.856 92.35 .396 3.603 95.96 .250 2.269 98.23 .171 1.551 99.78 .022 .202 99.98 .002 .019 00.00 .000 .001 100.0 -005 .000 100.0 Extraction Sums of Squared Loadings % of Cum Tota Varia ulativ l nce e% 4.33 39.35 39.35 3.59 32.64 72.00 1.60 14.50 86.50 Rotation Sums of Squared Loadings % of Cum Tota Varia ulativ l nce e% 4.22 38.35 38.35 3.59 32.65 70.99 1.71 15.51 86.50
• 表明将11个变 量简化为3个因 子后，对X1变 量的解释能力 为86.2%，对 X2的解释能力 为76.3%，等等。
Extraction Method: Principal Component Analysis.
47
特征值及方差贡献率和累计方差贡献率 旋转前，第1个因子对原11个变量的解释能力为39.35% 旋转前，前3个因子对原11个变量的解释能力为86.50% 旋转后，前3个因子对原11个变量的解释能力为86.50%
总 资 产 收 益 率 .075 .811 .151 .984 .995 1.000 .665 -.059 -.063 .009 -.061
净 利 润 率 .207 .563 .162 .650 .669 .665 1.000 -.110 -.108 .177 -.111
总 资 产 增 长 率 .121 -.061 .025 -.076 -.055 -.059 -.110 1.000 1.000 .707 1.000
12
• 实际使用过程中，先将变量标准化 • 运用拉格朗日乘子法求约束条件下的极值： • 令 f aRa (aa 1)
f 2Ra 2a 0 a 得： Ra a
可见：a为R的特征向量，λ为R的特征值。
此时， D(y1)= a’Ra= a’λa= λa’ a=λ
21
“Rotation”对话框选项
• Method:选择因子旋转方法
– None(不进行旋转) – Varimax (方差最大法) – Equamax (等量最大法) – Quartimax (四次方最大法) – Direct Oblimin (斜交旋转)
22
• Display:指定输出选项
– Rotated solution:显示旋转后的因子解 – Loading plots:显示因子载荷图
17
三、因子分析法的基本操作
• Analyze →Data Reduction →Factor… 打开Factor Analysis对话框 • 将参与因子分析的变量依次选入Variables框中 • 分别对“Extraction”, “Rotation”, “Scores” 等项 进行设置. • 单击“OK”即可
5
主成分法的基本思想
• 考虑二维情形，即只有两个变量，它们由 横坐标和纵坐标所代表；因此每个观测值 都有相应于这两个坐标轴的两个坐标值； • 这些数据大致分布于一个椭圆形的区域中， 如下图所示：
6
-4
-2
0
2
4
-4
-2
0
2
4
7
• 这个椭圆有一个长轴和一个短轴。 • 在短轴方向上，数据变化很少；在极端的 情况，短轴如果退化成一点，那只有在长 轴的方向才能够解释这些点的变化了；这 样，由二维到一维的降维就自然完成了。
于是：第一主成分y1的方差为最大特征值。
13
• 结论（以y1为例） • 原变量相关系数矩阵 的最大特征值即为y1 的方差，
• 原变量相关系数矩阵 的最大特征值对应的 特征向量。
y1 a11 x1 a12 x2 y2 a21 x1 a22 x2 y p a p1 x1 a p 2 x2
统计分析方法
主成分分析 与 因子分析
第一部分
主成分分析
3
• 我们经常遇到有很多变量的数据。 • 在如此多的变量之中，有很多是相关的。 • 人们希望能够找出它们的少数“代表” （综合指标）来对它们进行描述。
4
• 下面介绍两种把变量维数降低以便于描述、 理解和分析的方法：主成分分析 （ principal component analysis ） 和 因 子分析（factor analysis）。
净 利 润 -.009 1.000 .239 .812 .789 .811 .563 -.061 -.062 .056 -.064
净 资 产 .684 .239 1.000 .190 .173 .151 .162 .025 .025 .080 .027
净 资 产 收 益 率 .070 .789 .173 .978 1.000 .995 .669 -.055 -.059 .009 -.058
Component 1 2 3 4 5 6 7 8 9 10 11
19
• Extract：决定提取因子的个数
– Eigenvalue over: 指定要提取因子的最小特征 值，系统默认值为1 – Number of factors:直接指定提取的因子个数。
20
• Display:指定与初始因子有关的输出项
– Unrotated factor solution:显示未旋转的因子 解 – Scree plot:显示碎石图，用于决定因子提取个 数。
税 后 利 润 增 长 率 .226 .056 .080 -.007 .009 .009 .177 .707 .710 1.000 .709
45
固 定 资 产 增 长 率 .131 -.064 .027 -.079 -.058 -.061 -.111 1.000 1.000 .709 1.000
• KMO指标大于0.7时，适合作因子分析。 0.6以上，作因子分析还可以 0.6以上，不太适合作因子分析 Bartlett 球度检验显著时（P-值较低），则 表明适合作因子分析。
y1 a11 x x 1 a 12 2 y2 a21 x x 1 a 22 2 y p a p1 x1 a p2 x 2 1a p x p 2a p x p a pp x p
11
y1 a11 x1 a12 x2
a1 p x p
y2 a21 x1 a22 x2 a2 p x p • 可以写成向量形式： y1=a’ x yp a p1 x x 问题：在 a’a=1 的条件下，求 aa 使 y 方差最大： 1 a p 2 x2 pp 1p D(y1)= a’D( x) a 其中： D( x)为x的方差协方差矩阵。当x为 标准化后的变量向量，则D(x)为相关系数 矩阵R。 y1的方差为：D(y1)= a’R a
8
• 如果长轴变量代表了数据包含的 大部分信息，就用该变量代替原 先的两个变量（舍去次要的一 维），降维就完成了。 • 椭圆（球）的长短轴相差得越大， 降维效果越好。
9
主成分法的数学模型
10
• 对原变量x1，x2等变换为y1,y2, y3等使得 • y1方差最大，y2次之等等； • y1,y2,y3等相互独立。
KMO and Bartlett's Test Kaiser-Meyer-Olkin Measure of Sampling Adequacy. Bartlett' s Test of Sphericity Approx. Chi-Square df Sig . .604 869.452 55 .000