第五章因子分析和主成分分析
因子分析与主成分分析的基本原理与应用
因子分析与主成分分析的基本原理与应用因子分析与主成分分析是统计学中常用的多元分析方法，用于降低数据维度、提取主要信息、捕捉变量间关系等。
本文将介绍因子分析与主成分分析的基本原理，并探讨它们在实际应用中的价值。
一、因子分析的基本原理与应用因子分析是一种用于推断观测变量背后的潜在因子结构的统计技术。
其基本原理是将多个相关的变量归纳为更少的无关因子来解释数据的变异。
使用因子分析，可以将多个变量聚合为更少的综合因子，从而简化数据分析过程。
在实际应用中，因子分析可以在不丢失太多信息的情况下，提取数据中最重要的变量。
例如，在心理学研究中，通过对大量问卷数据进行因子分析，可以将众多心理特征综合为几个核心因子，如情绪、认知、个性等。
这有助于研究者更好地理解心理特征间的关系，简化测量过程，提高数据分析效率。
二、主成分分析的基本原理与应用主成分分析是一种多元统计方法，其目的是将原始变量转化为少数几个无关的主成分，以解释数据的方差。
其基本原理是通过线性变换，将原始变量投影到一个新的坐标系中，使得变换后的变量间不相关。
主成分分析在许多领域有着广泛的应用。
例如，在金融领域，主成分分析可以应用于资产组合管理，通过将多个相关的金融指标转化为少数几个主成分，帮助投资者降低风险、优化投资组合。
在生物医学领域，主成分分析可以用于基因表达数据的降维与分类，从而帮助研究者鉴别不同类型的肿瘤、发现潜在的治疗靶点等。
三、因子分析与主成分分析的区别与联系尽管因子分析与主成分分析在某些方面有相似之处，但它们之间仍存在一些区别。
主要的区别在于其目标和假设。
因子分析更关注于数据背后的潜在结构与因子之间的关系，认为潜在因子是直接影响观测变量的原因。
而主成分分析更注重于减少数据维度、解释数据的变异，将原始变量变换为无关的主成分。
主成分分析假设没有测量误差而因子分析则允许变量间存在测量误差。
尽管两者有所区别，但由于其相似的思想和方法，因子分析与主成分分析常常被用来相互验证或者联合应用。
主成分分析与因子分析
主成分分析原理
• 当散点呈椭圆状分布时，代表长轴的变量就描述 了数据的主要变化，而代表短轴的变量就描述了 数据的次要变化。
• 但是，坐标轴通常并不和椭圆的长短轴平行。因 此，需要寻找椭圆的长短轴，并进行变换，使得 新变量和椭圆的长短轴平行。
• 如果长轴变量代表了数据包含的大部分信息，就 用该变量代替原先的两个变量（舍去次要的一 维），降维就完成了。
因主 子成 分分 析分
析 和
汇报什么？
• 假定你是一个公司的财务经理，掌握了公司的所 有数据，比如固定资产、流动资金、每一笔借贷 的数额和期限、各种税费、工资支出、原料消耗、 产值、利润、折旧、职工人数、职工的分工和教 育程度等等。
• 如果让你向上面介绍公司状况，你能够把这些指 标和数字都原封不动地摆出去吗？
-.240
C HE M
-.675
.513
.499
-.181
LI TE RAT
.893
.306
-.004
-.037
HISTO RY
.825
.435
.002
.079
ENGLISH
.836
.425
.000
.074
Extraction Method: Pr incipal Component Analy sis.
a. 6 components extracted.
5 .021 -.001 .002 .077 -.342 .276
6 .068 -.006 .003 .320 -.083 -.197
•可以把第一和第二因子 的载荷点出一个二维图以
直观地显示它们如何解释
原来的变量的。这个图叫 做载荷图。
主成分分析和因子分析-回归分析和相关分析的区别
主成分分析和因子分析的区别通过主成分分析所得来的新变量是原始变量的线性组合，每个主成分都是由原有P个变量线组合得到，在诸多主成分z中，Z1在总方差中占的比重最大，说明它综合原有变量的能力最强，其余主成分在总方差中占的比重依次递减，说明越往后的主成分综合原信息的能力越弱。
以后的分析可以用前面几个方差最大的主成分来进行，一般情况下，要求前几个z所包含的信息不少于原始信息的85％，这样既减少了变量的数目，又能够用较少的主成分反映原有变量的绝大部分信息。
如利用主成分来消除多元回归方程的多重共线性，利用主成分来筛选多元线性回归方程中的变量等。
通过因子分析得来的新变量是对每一个原始变量进行内部剖析。
打比喻来说，原始变量就如成千上万的糕点，每一种糕点的原料都有面粉、油、糖及相应的不同原料，这其中，面粉、油、糖是所有糕点的共同材料，这正好象是因子分析中的新变量即因子变量。
正确选择因子变量后，如果想考虑成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公共因子的物价变动即可。
所以因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
即因子分析就是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它把原始变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。
1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各个变量的线性组合。
在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，. . . ，x3 ，经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱。
2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。
数据分析中的因子分析与主成分分析
数据分析中的因子分析与主成分分析在当今信息爆炸的时代，数据分析已经成为了各行各业中不可或缺的一部分。
在数据分析的过程中，因子分析和主成分分析是常用的两种统计方法。
它们可以帮助我们理解数据背后的隐藏规律和关联性。
本文将介绍因子分析和主成分分析的基本概念、应用场景以及它们之间的区别。
一、因子分析因子分析是一种用于探索多个变量之间关系的统计方法。
它的基本思想是将多个相关的变量归纳为少数几个潜在因子，从而简化数据的复杂性。
通过因子分析，我们可以找到隐藏在数据背后的共性因素，并将其用较少的变量来代表。
在因子分析中，我们需要确定两个重要的概念：因子载荷和公因子。
因子载荷表示变量与因子之间的相关性，取值范围为-1到1。
而公因子则是指影响多个变量的共同因素。
通过因子分析，我们可以得到每个变量对于每个公因子的因子载荷，从而得知变量之间的相关性以及它们与公因子的关系。
因子分析在实际应用中有着广泛的用途。
例如，在市场调研中，我们可以利用因子分析来确定消费者对于某个产品的偏好因素；在心理学研究中，我们可以通过因子分析来探索人们的个性特征。
因子分析的结果可以帮助我们更好地理解数据，为进一步的分析提供基础。
二、主成分分析主成分分析是一种用于降维的统计方法。
它的目标是通过线性组合将原始变量转化为一组新的互相无关的变量，即主成分。
主成分分析通过保留原始数据的大部分信息，同时减少数据的维度，从而达到简化数据和减少冗余的目的。
在主成分分析中，我们首先需要计算协方差矩阵。
然后，我们通过求解协方差矩阵的特征值和特征向量，得到主成分。
特征值表示主成分的重要性，而特征向量则表示主成分的方向。
通过选择特征值较大的主成分，我们可以保留较多的原始数据信息。
主成分分析在实际应用中也有着广泛的用途。
例如，在金融领域，我们可以利用主成分分析来构建投资组合，降低风险；在图像处理中，我们可以利用主成分分析来提取图像的特征。
主成分分析可以帮助我们更好地理解数据的结构，发现数据中的重要特征。
主成分分析、因子分析
主成分分析在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。
多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。
如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。
盲目减少指标会损失很多信息，容易产生错误的结论。
因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。
由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。
主成分分析与因子分析就属于这类降维的方法。
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2. 问题描述下表1是某些学生的语文、数学、物理、化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。
主成分分析与因子分析的联系与区别
一、问题的提出在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。
而影响事物的特征及其发展规律的因素（指标）是多方面的，因此，在对该事物进行研究时，为了能更全面、准确地反映出它的特征及其发展规律，就不应仅从单个指标或单方面去评价它，而应考虑到与其有关的多方面的因素，即研究中需要引入更多的与该事物有关系的变量，来对其进行综合分析和评价。
多变量大样本资料无疑能给研究人员或决策者提供很多有价值的信息，但在分析处理多变量问题时，由于众变量之间往往存在一定的相关性，使得观测数据所反映的信息存在重叠现象。
因此为了尽量避免信息重叠和减轻工作量，人们就往往希望能找出少数几个互不相关的综合变量来尽可能地反映原来数据所含有的绝大部分信息。
而主成分分析和因子分析正是为解因子分相关。
1.2.），3. 主成分的各系数，是唯一确定的、正交的。
不可以对系数矩阵进行任何的旋转，且系数大小并不代表原变量与主成分的相关程度；而因子模型的系数矩阵是不唯一的、可以进行旋转的，且该矩阵表明了原变量和公共因子的相关程度。
4. 主成分分析，可以通过可观测的原变量X直接求得主成分Y，并具有可逆性；因子分析中的载荷矩阵是不可逆的，只能通过可观测的原变量去估计不可观测的公共因子，即公共因子得分的估计值等于因子得分系数矩阵与原观测变量标准化后的矩阵相乘的结果。
还有，主成分分析不可以像因子分析那样进行因子旋转处理。
5.综合排名。
主成分分析一般依据第一主成分的得分排名，若第一主成分不能完全代替原始变量，则需要继续选择第二个主成分、第三个等等，此时综合得分=∑（各主成分得分×各主成分所对应的方差贡献率）,主成分得分是将原始变量的标准化值，代入主成分表达式中计算得到；而因子分析的综合得分=∑（各因子得分×各因子所对应的方差贡献率）÷∑各因子的方差贡献率，因子得分是将原始变量的标准化值，代入因子得分函数中计算得到。
第五章 因子分析
模型中的 aij 称为因子“载荷” ，是第 i 个变量在第 j 个因子上 的负荷，如果把变量 X i 看成 m 维空间中的一个点，则 aij 表 示它在坐标轴 Fj 上的投影，因此矩阵 A 称为因子载荷矩阵。 （二）Q 型因子分析 类似地，Q 型因子分析的数学模型可表示为：
X i ai1F1 ai 2 F2 aim Fm i ， ( i 1, 2,, n )
(7.3) Q 型因子 分析与 R 型因子 分析模 型的差 异体现在 ， X 1 , X 2 ,, X n 表示的是 n 个样品。
无论是R型或Q型因子分析，都用公共因子F代替X，一般要求 m<p，m<n，因此，因子分析与主成分分析一样，也是一种降 低变量维数的方法。我们下面将看到，因子分析的求解过程同 主成分分析类似，也是从一个协方差阵出发的。 因子分析与主成分分析有许多相似之处，但这两种模型又存在 明显的不同。 主成分分析的数学模型本质上是一种线性变换，是将原始坐标 变换到变异程度大的方向上去，相当于从空间上转换观看数据 的角度，突出数据变异的方向，归纳重要信息。 而因子分析从本质上看是从显在变量去“提练”潜在因子的过 程。正因为因子分析是一个提练潜在因子的过程，因子的个数 m取多大是要通过一定规则确定的，并且因子的形式也不是唯 一确定的。一般说来，作为“自变量”的因子F1，F2，…，Fm 是不可直接观测的。这里我们应该注意几个问题。
由模型（7.2）式所满足的条件知
Σ AA D
（7.4）
如果 X 为标准化了随机向量，则 Σ 就是相关矩阵 R ( ij ) ， 即
R AA D
（7.5）
第二，因子载荷是不唯一的。这是因为对于 m m 的正交矩 阵 T ，令 A* AT ， F * T F ，则模型可以表示为 X A* F * ε 由于 D(F * ) T D(F )T T T I mm
主成分分析与因子分析_OK
Extraction Sums of Squared Loadings
Total % of Variance Cumulative %
3.735
62.254
62.254
1.133
18.887
81.142
• 这里的Initial Eigenvalues就是这里的六个主 轴长度，又称特征值（数据相关阵的特征 值）。头两个成分特征值累积占了总方差 的81.142%。后面的特征值的贡献越来越少。
5
成分分析
(Principal Components Analysis)
6
x
2
•• •
•• •
•
•• •
•••••• •
x1
x 2
• • • •••
•
••
•
• •
•
x 1
x2 • ••• •• ••• ••••
• 例中的数据点是六维的； 也就是说，每个观测值是 6维空间中的一个点。我 们希望把6维空间用低维
(m p)
X1 11 12
或
X
2
21
22
X
p
p1
p2
1m F1 1
2
m
F2
2
pm
Fm
p
或X AF
28
注：
因子分析与回归分析不同，因子分析中的因子 是一个比较抽象的概念，而回归因子有非常明确 的实际意义；
主成分分析分析与因子分析也有不同，主成分 分析仅仅是变量变换，而因子分析需要构造因子 模型。
主成分分析:原始变量的线性组合表示新的综合 变量，即主成分，无误差项；
因子分析：潜在的假想变量和随机影响变量的 线性组合表示原始变量，有误差项。