数据挖掘——第八章因子分析

一、因子分析的基本理论
1、什么是因子分析
利用降维的思想，由研究原始变量相关矩阵或协 方差矩阵的内部依赖关系出发，把一些具有错综复杂 关系的多个变量归结为少数几个综合因子的一种多元 统计分析方法。
2、历史 由心理学家发展起来的，1904年，斯皮尔曼 在美国心理学杂志上发表了第一篇有关因子分析 的文章，来解释人类的行为和能力。50年代后， 在社会学、经济学、医学、地质学、气象学和市 场营销学中得到了广泛的应用。
3、应用方面

1、寻求基本结构summarization

2、数据简化 data reduction
应用多变量如果存在较强的相关 性。意味着他们所反映的信息高度重合， 通过因子分析可以找到较少的代表因子。 例如，某快餐店为了了解市场竞争力进行 消费者调查，通过定性研究设计了30个调 查项目，这30个项目可能反映了快餐的质 量、价格、就餐环境和服务四个基本方面 。通过因子分析我们能找到反映这四个 因 子和30个观测变量之间的关系。
或X μ AF
(m p)
a1m F1 1 a2 m F2 2 a pm Fm p
a12 a22 ap2

称为 F1 , F2 ,, Fm公共因子，是不可观测的变量， 他们的系数称为因子载荷。 i 是特殊因子，是不能被 前m个公共因子包含的部分。其中：
中原始变量与因子分析时抽取出的公共因子的相关程 度。 x* a F a F a F
i i1 1
* i
i2 2
im m
i
Cov(x ,Fj ) cov( aik Fk i ,Fj )
i 1 m
m
cov( aik Fk ,Fj ) cov( i ,Fj)
二、因子分析的基本内容
1、因子分析的基本步骤
（1）因子分析的前提条件鉴定 考察原始变量之间是否存在较强的相关关系，是否适 合进行因子分析。因为： 因子分析的主要任务之一就是对原有变量中信息重叠 的部分提取和综合成因子，最终实现减少变量个数的目的。 所以要求原有变量之间应存在较强的相关关系。否则，如 果原有变量相互独立，不存在信息重叠，也就无需进行综 合和因子分析。 （2）因子提取 研究如何在样本数据的基础上提取综合因子。
应用第二方面：数据简化

数据简化 通过因子分析把一组观测变量化为较少的几个 因子后，利用这些因子代替原来的观测变量进 行其他的统计分析，比如：回归分析、路径分 析、判别分析和聚类分析，利用因子值还可以 直接对样本进行分类和综合评价。
因子分析的基本思想

把每个研究变量分解为几个影响因素变量， 将每个原始变量分解成两部分因素，一部分 是由所有变量共同具有的少数几个公共因子 组成的，另一部分是每个变量独自具有的因 素，即特殊因子。
2 1 aij i2 hi2 i2 j 1
所有的公共因子和特殊因子对变量 X i* 的贡献为1。 hi2反映了全 部公共因子对变量Xi*的影响，是全部公共因子对变量方差所做出的 贡献，或者说Xi*对公共因子的共同依赖程度，称为公共因子对变量 Xi*的方差贡献。 hi2接近于1，表明该变量的原始信息几乎都被选取的公共因子 说明了。 i2 特殊因子的方差，反映了原有变量方差中无法被公共因子 描述的比例。
建模
因子分析
（Factor Analysis）
小组案例分析



第7组：因子分析 第9组：回归分析 第10组：聚类分析（与因子分析相关） 第13组：判别分析 第15组：k-中心点算法
演讲时间：第14周。

小组大作业


自主选题，利用之前所讲过的算法和模型 ， 进行分析。 要求：上交分析报告。 模型流程图。 上交时间：期末考试前。
i 1
aij
r ij r
cov( xi *, F j ) var( xi *) var( F j )
注意： 在各公共因子不相关的前提下， ij（载荷矩阵中第i行， a 第j列的元素）是随机变量 xi*与公共因子Fj 的相关系数， 表示xi*依赖于Fj的程度。反映了第i个原始变量在第j 个公共因子上的相对重要性。因此 绝对值越大，则 aij 公共因子Fj与原有变量xi的关系越强。
重点




什么是因子分析？ 理解因子分析的基本思想 因子分析的数学模型以及模型中公共因子、因 子载荷变量共同度的统计意义 因子分析的基本步骤 因子旋转的意义
引入




研究事物时候，需要影响该对象的各种变量的大量 数据。但是过多的变量会影响数据的采集和数据的 分析。 大多数情况下，多变量会出现相关，利用传统的多 元回归就出现了大问题。 如果删减指标，有时会损失很多有用的信息。 需要在减少指标的同时，尽量减少对于原指标所包 含信息的损失。 由于各变量之间相关，所以有可能用较少的综合指 标分别综合存在于各变量中的各类信息，从而达到 降维的目的。
（2）共同度----又称共性方差或公因子方差（community
或common variance）就是观测变量的方差中由公因子决 定的比例。当因子正交时，等于每个公共因子之负荷量的 平方总和（一行中所有因素负荷量的平方和）。变量 X i 的共同度是因子载荷矩阵的第i行的元素的平方和。记为
2 h aij。 2 i j 1 m
x1=代数1
x2=代数2 x3=几何 x4=三角 x5=解析几何
0.896
0.802 0.516 0.841 0.833
0.341
0.496 0.855 0.444 0.434
该案例是对数学专业的五门专业课进行相关性因子分析
6、因子分析模型中的几个重要统计量的意义 （1）因子负荷量（或称因子载荷）----是指因子结构
从共同性的大小可以判断这个原始实测 变量与公共因子间之关系程度。特殊因子方差 （剩余方差）----各变量的特殊因素影响大小就是1
减掉该变量共同度的值。
统计意义：
m
X i* ai1F1 aim Fm i
两边求方差
Var ( X i ) a 2 i1Var ( F1 ) a 2 imVar ( Fm ) Var ( i )
设 X i (i 1,2,, p ) p 个变量，如果表示为
X i i ai1F1 aim Fm i
X 1 1 a11 X a 2 2 21 或 X a p p p1
因子分析案例2
公因子F1 x1=代数1 x2=代数2 x3=几何 x4=三角 0.896 0.802 0.516 0.841 公因子 F2 0.341 0.496 0.855 0.444 共同度 hi 0.919 0.889 0.997 0.904 特殊因子
δi
0.081 0.111 0.003 0.096
在因子分析的公共因子抽取中，应最先抽取特征值最大 的公共因子，其次是次大者，最后抽取公共因子的特征 值最小的，通常会接近0。



案例1：在企业形象或品牌形象的研究中，消费者可以通 过一个有24个指标构成的评价体系，评价百货商场的24个 方面的优劣。 但消费者主要关心的是三个方面，即商店的环境、商店的 服务和商品的价格。因子分析方法可以通过24个变量，找 出反映商店环境、商店服务水平和商品价格的三个潜在的 因子，对商店进行综合评价。而这三个公共因子可以表示 为：
7、主成分分析分析principal components与因子分析的联系和差异 联系：（1）因子分析是主成分分析的推广，是主成分分析的逆问 题。（2）二者都是以‘降维’为目的，都是从协方差矩阵或相关系数 矩阵出发。 区别：（1）主成分分析模型是原始变量的线性组合，是将原始变 量加以综合、归纳，仅仅是变量变换；而因子分析是将原始变量加以分 解，描述原始变量协方差矩阵结构的模型；只有当提取的公因子个数等 于原始变量个数时，因子分析才对应变量变换。（2）主成分分析，中 每个主成分对应的系数是唯一确定的；因子分析中每个因子的相应系数 即因子载荷不是唯一的。（3）因子分析中因子载荷的不唯一性有利于 对公共因子进行有效解释；而主成分分析对提取的主成分的解释能力有 限。 目的不同！一个侧重降维，一个侧重解释！
xi i i1F1 i 2 F2 i 3 F3 i
F1、F2、F3


是不可观测的潜在因子,称为公共因子。24个变量共享这三个因 子. 但是每个变量又有自己的个性，不被包含的部分，称为特殊因 子。
i
因子分析案例2
公因子F1 x1=代数1 x2=代数2 x3=几何 x4=三角 0.896 0.802 0.516 0.841 公因子 F2 0.341 0.496 0.855 0.444 共同度 hi 0.919 0.889 0.997 0.904 特殊因子
。
如果（２）不成立，即 D( F ) 各公共因子之间不独立， I 则因子分析模型为斜交因子模型．
5、因子分析的目的

因子分析的目的之一，简化变量维数。即要使因素结构 简单化，希望以最少的共同因素（公共因子），能对总 变异量作最大的解释，因而抽取得因子愈少愈好，但抽 取因子的累积解释的变异量愈大愈好。
x5=解析几何
0.833
0.434
0.882
0.118
第一个观测变量共同度h12=(0.896)平方+(0.341)平方=0.919 同时，它的剩余方差是：
（3）特征值----是第j个公共因子Fj对于X*的每一分量Xi* 所提供的方差的总和。又称第j个公共因子的方差贡献。 即每个变量与某一共同因子之因子负荷量的平方总和 （因子载荷矩阵中某一公共因子列所有因子负荷量的平 方和）。 如因子分析案例中 F1的特征值 G=（0.896）平方 +（0.802）平方 +（0.516）平方 +（0.841）平方 +（0.833）平方 =3.113 表示了每个公因子 对数据的届时能力