第7章 因子分析1
合集下载
多元统计分析-对应分析
03
列联表检验的零假设是两变量 X和Y 相互独立，计算一个卡方统计量，与列联表中频数取值 和零假设下期望取值之差有关，当卡方 很大时否定零假设。
BA
患慢性支 未患慢性 气管炎 支气管炎
吸烟
43
162
不吸烟
13
121
为了探讨吸烟与慢性支气管炎有无关系， 调查了339人，情况如表所示：
设想有两个随机变量A，B：A：1表示吸 烟，
对应分析
对应分析基本步骤： 建立列联表
利用对应图解释结 果。
1
2
3
一．获取对应分析 数据 确定研究目的， 选择对应分析 所需数据，应 该包括的背景 资料。
对应分析
4
5
二、对应分析 的原理
01
由于R型因子分析和 02
设原始数据矩阵为：
Q型因子分析是反映
一个整体的不同侧面，
R型因子分析是从列
来讨论（对变量），
k
特征根。
Zu k
设 1 2…
三、对应图u 1u 11u 21 A和l(0Bu <的p 1 i<非m零in特(n征,p根)),为其矩相阵应 u 2u 12u 22 的特征u p 向2量为
v 1 v 1 1v 2 1 v n 1 v 2 v 1 2 v 2 2 v n 2
我们知道因子载荷矩阵的含义是原始变量与公共因子之间的 相关系数，所以如果我们构造一个平面直角坐标系，将第一 公共因子的载荷与第二个公共因子的载荷看成平面上的点， 在坐标系中绘制散点图，则构成对应图。
Q型因子分析是从行
来讨论（对样品），
因此 在的
他们之
联 x系1。1
间
存在
x12
内
第六章 因子分析
因此：因子也是综合变量；因子具有更 明确的指标意义；具有不同意义的因子 便于揭示事物变化的内在结构；提取少 量重要因子可以达到降维和简化分析的 作用。
（二）因子分析的一般模型：
令因子为 F(factor)，当我们研究 m 个因子对实 际问题的影响时可以建立因子模型，即
X i ai1F1 ai 2 F2 aim Fm + i 。 其中的 F 是对所有
（三）基本思想：
基于对因子的认识，因子分析的基本思想就是通过变 量（或样品）的相关系数矩阵（或相似系数矩阵）内 部结构的研究，找出能控制所有变量（或样品）的少 数几个随机变量去描述多个变量（或样品）之间的相 关（或）相似关系。在分解原始变量的基础上，从中 归纳出潜在的“类别”，相关性较强的变量归为一类， 不同类间变量的相关性则较低。从而实现因子分析的 两个目的：一简化分析，二将原变量分类，对公因子 的意义作出合理可信的解释。
而进行因子分析的起点就是因子模型，我们通 过估计因子模型中的参数即因子负荷和方差对 各因子的重要程度进行衡量，并利用因子负荷 矩阵所体现的各变量或样品之间的相关程度提 取出具有明确意义的公因子F，赋予其有实际 背景的解释进而给以命名，从而达到降维和分 类的目的。
三、因子分析的数学原理。
因R型因子分析应用广泛，故本章的解释均是 以R型因子分析为对象。 （一）正交因子模型： 因子分析的一般模型为：
X 1 a11F1 a12 F2 a1m Fm 1 X 2 a21F1 a22 F2 a2 m Fm 2 X p a p1F1 a p 2 F2 a pm Fm p
i
可将上式写成简单的矩阵形式
因子分析和主成分分析的方法步骤
因子分析和主成分分析的方法步骤
一、主成分分析
步骤（详细步骤见算法大全低二十九章：多元分析）
1）对原始数据进行标准化处理
2）计算相关系数矩阵R
3）计算特征值和特征向量
（要对特征向量进行正则化，即特征向量值/sqrt(对应的特征值)，这一步需要自己计算）
4）根据累计贡献率得到主成分P，计算综合评价值
5）②计算综合得分
二、因子分析
步骤（详细步骤见算法大全低二十九章：多元分析）
1．选择分析的变量
2．计算所选原始变量的相关系数矩阵
3．提出公共因子
4．因子旋转
5．计算因子得分
用SPSS解决步骤：
注：以上为主成分分析和因子分析对应的操作步骤，对得到的结果进行相应的分析可以参考《SPSS 统计分析高级教程》中的主成分分析和因子分析。
第7章 聚类分析
q=2时，欧氏(Euclidean )距离
m
dij
(xik x jk )2
k 1
闵氏距离适 用于一般p 维欧氏空间。 缺点是没有 考虑变量之 间的相关性。
二维空间欧式距离
马氏(Mahalanobis)距离
dij2 (M ) (xi x j )T s1(xi x j )
s=(sij)
sij
行分类
R型聚类
根据n个样品对p个指标进行分类 根据不同地区的样本数据对多个经济指标进行分类
两者没有本质区别，实践中人们更感兴趣的通常是Q型聚类
聚类分析的基本步骤
(1) 选择描述事物对象的变量(指标)。 (2) 建立样品数据资料矩阵。 (3) 确定数据是否要标准化。 (4) 确定表示对象距离或相似程度的统计
有两种处理方法：
（1）首先进行变量聚类，从每类中选一代 表性变量，再进行样品聚类；
（2）进行主成分分析或因子分析，降维， 使之成为不相关的新变量，再进行样品聚类。
（2 ）标准化问题 指标选用的度量单 位将直接影响聚类分析的结果。例如将 高度的单位由米改为英寸，或者将重量 单位由千克改为磅，可能产生非常不同 的聚类结构。一般来说，所用度量单位 越小，变量的值域就越大，对聚类结果 的影响也越大。为了避免对变量单位选 择的依赖，数据应当标准化。数据量纲 不同时，必须进行标准化；但如果量纲 相同，可数量级相差很大，这时也应该 进行标准化。
——一旦个案（变量）被聚为一类，以后分类结果不会 改变
分层聚类
(一)思路
以分解的方式聚类
首先,所有个体都属于一类 其次,将大类中最“疏远”的小类或个体分离出去 然后,分别将小类中最“疏远”的小类或个体再分离出
去
重复上述过程,即：把类分解成越来越小的小类，直到 所有的个体自成一类为止
SAS统计之第十章-因子分析
正交旋转
正交旋转是一种比较简单的方法， 它将因子矩阵进行正交变换，使 得每个因子只与一个原始变量的 相关性较高，与其他变量的相关 性较低。
斜交旋转
斜交旋转是一种更复杂的方法， 它可以使得一个因子与多个原始 变量的相关性较高，但与其他变 量的相关性较低。
因子的解释
因子的解释
因子的解释是根据实际背景和专业知 识，对每个因子的含义进行解释。解 释时需要综合考虑原始变量的含义和 因子的相关性。
03
解释性。
实例分析
01
为了更好地理解PROC Factor过程，我们将通过一个实例来演示其应 用。
02
假设我们有一个包含多个变量的数据集，并且我们想要提取两个公因 子来解释这些变量之间的相关性。
03
我们将使用PROC Factor过程进行因子分析，并选择适当的选项来提 取两个公因子。
04
分析结果将包括因子载荷表、因子图和轮廓图等输出，以帮助我们理 解公因子和变量之间的关系。
04 因子分析的注意事项
因子分析的前提假设
因子分析的前提假设是数据应具有相关 性。在进行因子分析之前，需要检查变 量之间的相关性，以确保分析的有效性。
因子分析的前提假设是变量应具有共同因子。 共同因子是指多个变量之间存在的共同因素， 这些因素反映了变量之间的共同变化趋势。
因子分析的前提假设是变量应具有 可解释性。在进行因子分析之前， 需要对变量进行解释性分析，以确 定变量之间的潜在关系和共同因素。
因子命名
根据解释结果，可以对每个因子进行 命名，使其更加符合实际背景和专业 知识。命名时需要简洁明了，能够准 确地反映因子的含义。
03 因子分析的SAS实现
Байду номын сангаас
第二章 因子分析.ppt
联系：（1）因子分析是主成分分析的推广，是主成 分分析的逆问题。（2）二者都是以‘降维’为目的，都 是从协方差矩阵或相关系数矩阵出发。
区别：（1）主成分分析模型是原始变量的线性组合， 是将原始变量加以综合、归纳，仅仅是变量变换；而因 子分析是将原始变量加以分解，描述原始变量协方差矩 阵结构的模型；只有当提取的公因子个数等于原始变量 个数时，因子分析才对应变量变换。（2）主成分分析中 每个主成分对应的系数是唯一确定的；因子分析中每个 因子的相应系数即因子载荷不是唯一的。（3）因子分析 中因子载荷的不唯一性有利于对公因子进行有效解释； 而主成分分析对提取的主成分的解释能力有限。
x*i αi1F1 αi2F2 αim Fm i
m
Cov(x*i , Fj ) cov( ik Fk i , Fj ) i1
m
cov( ik Fk , Fj ) cov( i , Fj ) i1
rij ij
ij
2019/11/14
是变量 xi 和变量x j （ j i）在控制了其他变量影响下的偏
相关系数，即净相关系数。MSAi 取值在0和1之间，越接 近1，意味着变量 xi 与其他变量间的相关性越强，越接 近0则相关性越弱。
2019/11/14
江西理工大学理学院
（3）巴特利特球度检验（Bartlett test of sphericity)
2 1
（3）
D(
)
2 2
2 p
即互不相关，方差不一定相等，i
~
N
(0,
2 i
)
。
满足以上条件的，称为正交因子模型．
区别：（1）主成分分析模型是原始变量的线性组合， 是将原始变量加以综合、归纳，仅仅是变量变换；而因 子分析是将原始变量加以分解，描述原始变量协方差矩 阵结构的模型；只有当提取的公因子个数等于原始变量 个数时，因子分析才对应变量变换。（2）主成分分析中 每个主成分对应的系数是唯一确定的；因子分析中每个 因子的相应系数即因子载荷不是唯一的。（3）因子分析 中因子载荷的不唯一性有利于对公因子进行有效解释； 而主成分分析对提取的主成分的解释能力有限。
x*i αi1F1 αi2F2 αim Fm i
m
Cov(x*i , Fj ) cov( ik Fk i , Fj ) i1
m
cov( ik Fk , Fj ) cov( i , Fj ) i1
rij ij
ij
2019/11/14
是变量 xi 和变量x j （ j i）在控制了其他变量影响下的偏
相关系数，即净相关系数。MSAi 取值在0和1之间，越接 近1，意味着变量 xi 与其他变量间的相关性越强，越接 近0则相关性越弱。
2019/11/14
江西理工大学理学院
（3）巴特利特球度检验（Bartlett test of sphericity)
2 1
（3）
D(
)
2 2
2 p
即互不相关，方差不一定相等，i
~
N
(0,
2 i
)
。
满足以上条件的，称为正交因子模型．
因子分析及对应分析
2012-12-13 2012-12-13
5 5
在满足以上假定的条件下，就有：
cov( X i , X j ) E (ai F gi )(a j F g j ) ai a j var F ai a j
于是，有
cov( X i , X j ) cov( X i , X k )
aj ak
2012-12-13 2012-12-13
6 6
因为 a i 是一个常数，与 gi 相互独立且 F 与 X i 的方差均被假定为1。 F 于是有 1 ai2 var( gi )
因此，常数a i 的意义就在于其平方表示了公共因子F 解释X i 的方 2 差的比例，因此被称之为因子载荷，而 a i 被称作共同度。 对Spearman的例子进行推广，假定每一门科目的考试成绩都受 到 m个公共因子的影响及一个特殊因子的影响，于是上式就变 成了如下因子分析模型的一般形式：
x* a 1 1 f 1 a 1 2 f 2 a 1 p f p c 1 g 1 1 * x 2 a 2 1 f 1 a 2 2 f 2 a 2 p f p c 2 g2 x* a f a f a f c g , m1 1 m2 2 m p p m m m where E ( f j ) 0 , D( f j ) 1, E ( g i ) 0 , D( g i ) 1
X i ai 1 F1 ai 2 F2 aim Fm gi
2012-12-13 2012-12-13
7 7
X 式中， i为标准化后的第 i 门科目的考试成绩，均值为0，方差为 1。F1 , F2 , , Fm 是彼此独立的公共因子，都满足均值为0，方差 为1。gi为特殊因子，与每一个公共因子均不相关且均值为0。 则ai 1 , ai 2 , , aim 为对第 i 门科目考试成绩的因子载荷。对该模型， 有： 2 2 2
第七章 SPSS的相关分析
单因素方差分析
当一个变量为定类变量，另一变量为定距 变量时，两变量间是否有关，通常以分组 平均数比较的方法来考察。即按照定类变 量的不同取值来分组，看每个分组的定距 变量的平均数是否有差异。不同组间的平 均数差异越小，两个变量间的关系越弱； 相反，平均数差异越大，变量间关系越强。
单因素方差分析的基本步骤
最后，对不同看法进行分析。如果显著性 水平设为0.05，则概率值小于0.05，拒绝原 假设，认为本市户口和外地户口对未来三 年是否打算买房的看法是不一致的。
在列联表中，这一定理就具体转化为：若 两变量无关，则两变量中条件概率应等于 各自边缘的概率乘积。反之，则两变量有 关，或称两变量不独立。
由此可见，期望值（独立模型）与观察值 的差距越大，说明两变量越不独立，也就 越有相关。因此，卡方的表达式如下：
X
2
j i
( O ij E ij ) 2 E ij
第七章
相关分析与检验
主要内容
方差分析回顾 相关分析的概念
列联分析
简单相关分析
偏相关分析
方差分析回顾
概念：方差分析是从因变量的方差入手，研究诸 多自变量中哪些变量是对因变量有显著影响的变 量，对因变量有显著影响的各个自变量其不同水 平以及各水平的交互搭配是如何影响因变量的。 方差分析认为因变量的变化受两类因素的影响： 第一，自变量不同水平所产生的影响； 第二，随机变量所产生的影响。这里的随机变量指 那些人为很难控制的因素，主要指试验过程中的 抽样误差。
卡方的取值在0~∞之间。卡方值越大，关 联性越强。在SPSS中，有Pearson X2和 相似比卡方（Likelihood Ratio X2 ）两种。
SPSS统计分析_第七章_相关分析
以一个例子来进行Kendall秩相关系数的计算。
如果两位鉴定家各自以吸引力的大小将7幅抽
象派画评定了秩，那么可能知道这些秩评定
之间的相符的程度。
画 号
2
6
5
1
4
3
7
鉴别家1
鉴别家2
1
2
2
3
3
1
4
4
5
6
6
5
7
7
依次取观测2（鉴别家2）给出的秩，数出每一个右面在 秩次上比自己小的个数，并将这些个数加起来。例如抽 象画2的秩为2，其个数是1，因为其右边的只有抽象画5 的秩比它小。6个数依次为1，1，0，0，1和0，所以总 和为Q＝3，Kendall秩相关系数则为： R=1-4Q/n(n-1)=1-12/42=0.714
二、相关系数
积矩相关系数（Pearson相关系数）
Spearman和Kendall秩相关系数 偏相关系数
1、积矩相关系数（Pearson相关系数）
积矩相关系数(又称积差相关系数)适用于等间隔测度， 相关系数采用Pearson积矩相关。
R
xy
( x x)( y y)
i 1 i i
n
等。
有关统计量
不相似性测度 等间隔数据的不相似性（距离）测度可以使用的统 计量：欧几米德（欧氏）距离、欧氏距离平方等。 计数数据，使用卡方。 二值（只有两种取值）数据，使用欧氏距离、欧氏 距离平方等。
相似性测度
等间隔数据使用统计量皮尔逊相关或余弦。 测度二元数据的相似性使用的统计量有二十余种。
仍以四川绵羊地区中山柏生长的数据为例
中这两个变量间的相关系数不是0，因此必须
经过检验。检验的零假设是：总体中两个变
SPSS数据分析教程因子分析(共36张PPT)
12.2 因子分析的统计理论
因子分析假设每一个原始变量都可以表示成不 可观测的公共因子的线性组合和一个特殊因子 之和。
X11 a11F1a12F2 a1qFq1
X2
2
a21F1a22F2
a2qFq 2
Xpp ap1F1ap2F2 apqFqp
因子分析模型（1）
这里q为公共因子的个数 ，F1，…,Fq表示公共
它衡量公共因子的重要性。
因子分析模型的求解方法 （1）
SPSS中给出了7种求解因子分析模型的方法
主成分 未加权的最小平方法 综合最小平方法 最大似然（K） 主轴因子分解 α因子分解 映像因子分解法。
因子分析模型的求解方法（2）
这7种求解因子分析模型的方法都可以基于相 关系数矩阵 。
因子分析选项设置（1）
因子分析选项设置（2）
如果因子分析的结果输出错误信息“解不收敛” ，可以考虑更改 “最大收敛性迭代次数”为一个 较大的值，然后重新进行因子分析。
因子分析选项设置（3）
因子分析结果（1）
因子分析结果（2）
因子分析结果（3）
旋转后的因子载荷矩阵
因子的解释
第一个因子上载荷较大的原始变量有Fibre、Nutritious、 Health、Natural、Regular、Filling、Quality、Energy和 Satisfying，所有这些变量都描述了谷物产品的自然健康属 性，我们称之为“健康因子”。
结பைடு நூலகம்分析（1）：相关系数矩阵
KMO和Bartlett检验
特征值、方差贡献率和累积方差贡献率
初始因子载荷矩阵
旋转因子载荷矩阵
碎石图
因子载荷图
案例2：因子分析在市场调查中的应用