第五章 主成分分析
第五节 主成分分析
•
•
其中Li为p维正交化向量（Li*Li=1），zi之间互 不相关且按照方差由大到小排列，则称Zi为X的第 I个主成分。设X的协方差矩阵为Σ，则Σ必为半正 定对称矩阵，求特征值λi（按从大到小排序）及 其特征向量，可以证明，λi i所对应的正交化特征 向量，即为第I个主成分Zi所对应的系数向量Li， 而Zi的方差贡献率定义为λi/Σλj,通常要求提取的主 成分的数量k满足Σλk/Σλj>0.85。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
68.337 95.416 62.901 86.624 91.394 76.912 51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
0.408 0.255 -0.755 0.069 -0.93 -0.046 0.156 -0.078 -0.109 -0.031 0.744 0.094 -0.924 0.073
（2）由相关系数矩阵计算特征值，以及各个 主成分的贡献率与累计贡献率（见表 3.5.2）。由表3.5.2可知，第一，第二，第 三主成分的累计贡献率已高达86.596% （大于85%），故只需要求出第一、第二、 第三主成分z1，z2，z3即可。
8.128 8.135 18.352 16.861 18.279 19.793 4.005 9.11 19.409 11.102 4.383 10.706 11.419 9.521 18.106 26.724
4.065 4.063 2.645 5.176 5.643 4.881 4.066 4.484 5.721 3.133 4.615 6.053 6.442 7.881 5.789 7.162
主成分分析 ppt课件
ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：
y1 y1
x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••
主成分分析
引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。
主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。
通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。
本文用主成分分析的方法对某市14 家企业的经济效益进行分析。
[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。
主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。
而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。
因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。
一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。
[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。
主成分分析
主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。
主要是从协方差矩阵出发，实现一种正交变换，从而将高维系统表示为低维系统，在此过程中可以揭示研究对象的许多性质和特征。
主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。
只要懂得线性代数中二次型化为标准型的原理，就很容易掌握主成分分析的原理，进而掌握因子分析的原理。
在理解正交变换数学原理的基础上，我们可以借助Excel 开展主成分分析。
为了清楚地说明主成分的计算过程，不妨给出一个简单的计算实例。
【例】2000 年中国各地区的城、乡人口的主成分分析。
这个例子只有两个变量（m=2）：城镇人口和乡村人口；31 个样品：即中国的31 个省、自治区和直辖市（n=31）。
资料来自2001 年《中国统计年鉴》，为2000 年全国人口普查快速汇总的11 月1 日零时数。
由于变量太少，这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。
计算步骤5.1.1 详细的计算过程首先，录入数据，并对数据进行适当处理（图5-1-1）。
计算的详细过程如下。
第一步，将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。
如果所有变量彼此之间不相关（即正交），则没有必要进行主成分分析，因为主成分分析的目的就是用正交的变量代替原来非正交的变量。
如果原始变量之间为非线性关系，则有必要对数据进行线性转换，否则效果不佳。
从图5-1-2 可见，原始数据具有非线性相关趋势，可以近似匹配幂指数函数，且测定系数R2=0.5157，相应地，相关系数R=0.7181（图5-1-2a）；取对数之后，点列具有明显的线性趋势（图5-1-2b）。
第二步，对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析，因此只对取对数后的数据标准化。
根据图5-1-1所示的数据排列，应该按列标准化，用xij 代表取对数之后的数据，则下式分别为第j 列数据的均值和标准差，xij 为第i 行（即第i 个样本）、第j 列（即第j 个变量）的数据，xij*为相应于xij 的标准化数据，n=31 为样品数目（参见图5-1-1）。
主成分分析法及其应用PPT课件
x4 -0.34 0.644 0.07 1 0.383 0.069 -0.05 -0.031 0.073
x5 0.309 0.42 -0.74 0.383 1
0.734 0.672 0.098 0.747
x6 0.408 0.255 -0.755 0.069 0.734
1 0.658 0.222 0.707
演讲人：XXXXXX 时 间：XX年XX月XX日
荷的平方
三个主成分的
占方差的百分数
“占方差的百分
z1
z2
z3
（%）
数:各个主成分提 取了第i个指标的
x1
0.739
-0.532 -0.0061
82.918
“效率”之和， 它等于各个主成
x2
0.123
0.887 -0.0028
x3
-0.964 0.0096 0.0095
80.191 92.948
分在第i个指标上 的载荷的平方之
x 2：人 均耕地 面积
(ha)
0.352
2 141.5 1.684
3 100.7 1.067
4 143.74 1.336
5 131.41 1.623
x 3：森 林覆盖 率(%)
16.101
x 4：农 民人均 纯收入 (元/人)
192.11
x 5：人 均粮食 产量 (kg/
人)
295.34
x 6：经济 作物占农 作物播面 比例(％)
表3.5.1 相关系数矩阵
x1
x2
x3
x4
x5
x6
x7
x8
x9
x1
1 -0.327 -0.714 -0.336 0.309 0.408 0.79 0.156 0.744
主成分分析步骤
主成分分析步骤以教材第五章习题8的数据为例，演示并说明主成分分析的详细步骤: •原始数据的输入輪锹7 视附出敦据（囚烷飘D 井瞅① 图觀◎ 实用显序◎ 附加内諛Q）爾口迎帮肋® B? M *i宙邑並曲<e r 专注意事项：关键注意设置好数据的类型（数值？字符串？等等）以及小数点后保留数字的个数即可。
•选项操作1. 打开SPSS的“分析”-“降维”-“因子分析” 打开“因子分析”对话框（如下图）倉品女通和通讯选悻变豪（匚Ita（L）£2（R）取清眾助2.把六个变量：食品、衣着、燃料、住房、交通和通讯、娱乐教育文化输入到右边的待分析变量框。
3. 设置分析的统计量打开最右上角的“描述”对话框，选中“统计量”里面的“原始分析结果”和“相关矩阵”里面的“系数”。
（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来；选中系数，会显示相关系数矩阵。
）。
然后点击“继续”。
统计星□单喪逼椅谨惟(U) 0原赠分忻结果①相关矩阵 ---------------------0 貳数©□ OMN)□泵薯惟水平□ R^(R) □柠列武Q) □反醍數&□ tiMO 和Bartlett 的補誓鹰桧验(K)鍵沽 取消 帮動打开第二个的“抽取”对话框：“方法”里选取“主成分”；“分析”、 和“抽取”这三项都选中各自的第一个选项即可。
然后点击“继续”。
方液血：主磁辞分新 ------------相羌性拒阵〔3)协方遵症阵3抽职特征值大于(&：O 因于的圃定麹・(吵 參槌取的因玖D ； 矗大收皴性电代吹教凶；(25|取请即助第三个的“旋转”对话框里，选取默认的也是第一个选项“无”“输出”输出H 未箍炜的Ema □即石阳鱼］第四个“得分”对话框中，选中“保存为变量”的“回归”；以及“显示因子得分系数矩阵”。
第五个“选项”对话框，默认即可。
这时点击“确定”，进行主成分分析。
主成分分析
Extraction Method: Principal Component Analysis. Component Scores.
主成分系数矩阵，从而得出各主成分的表达式， 主成分系数矩阵，从而得出各主成分的表达式，注意在表达 式中各变量已经不是原始变量，而是标准化变量。 式中各变量已经不是原始变量，而是标准化 身高（X1,cm）、头围（X2,cm）、 体重（X3,g）的数据。
实验报告
写出X1， ， 的相关矩阵 的相关矩阵。 写出 ，X2，X3的相关矩阵。 写出KMO与球形检验的结果（P值）， 与球形检验的结果（ 值 写出 与球形检验的结果 并做出判断， 并做出判断，该数据是否适合主成分分 析。 写出3个主成分的贡献率 个主成分的贡献率。 写出 个主成分的贡献率。 写出3个主成分关于 个主成分关于X1， ， 的标准 写出 个主成分关于 ，X2，X3的标准 化的数值的线性组合。 化的数值的线性组合。
Rotation子对话框：用于因子分析。 子对话框：用于因子分析。 子对话框 Score子对话框 子对话框
选择是否将因子得分存入文件，以及具体的得分计算方法。 （1）Save as Variables：将计算出的因子得分作为新变量 加入数据文件，注意此处加入的是经过标准化的因子得分。 （2）Method单选框组：用于选择计算因子得分用的方法， 使用默认的回归法即可。 （3）Display factor score coefficient maxtrix：很重要。显 示因子得分系数阵，通过该系数阵就可以将所有公因子表示 为各个变量的线性组合，也就是我们所需要的主成分分析的 结果，系统同时会给出因子得分的协方差阵。
主 成 分 分 析
主成分分析
每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量 的数据；各个学校的研究、教学等各种变量的数 据等等。 这些数据的共同特点是变量很多，在如此多的变 量之中，有很多是相关的。人们希望能够找出它 们的少数“代表”来对它们进行描述。 主成分分析（principal component analysis） 就是把变量维数降低以便于描述、理解和分析的 方法。
主成分分析
2.主成分的总方差 由于
tr ( A ) = tr ( T′ΣT ) = tr ( ΣTT′ ) = tr ( Σ )
故
∑ λ = ∑σ
i =1 i i =1
p
p
ii
或
∑V ( y ) = ∑V ( x )
i =1 i i =1 i
p
p
总方差中属于第 i 主成分 yi（或被 yi 所解释)的比例 为
ˆ 三、从R 出发求主成分
ˆ ˆ* ˆ* ˆ R 的 p 个特征值为λ1* ≥ λ2 ≥ L ≥ λ p， 设样本相关阵 ˆ* ˆ 2 ˆ t1 , t * ,L , t *p 为相应的正交单位特征向量，则第 i 样本
主成分
ˆ ˆi yi* = t*x* , i = 1, 2,L , p
其中 x* 是各分量经（样本）标准化了的向量，即
S
主成分得分 在实际应用中，我们常常让 x j 减去 x ，使样本数据 中心化。这不影响样本协差阵 S ，在前面的论述中 惟一需要变化的是，将第 i 主成分改写成中心化的 形式，即
ˆ ˆi yi = t′ ( x − x ) , i = 1, 2,L , p 若将各观测值 x j 代替上式中的观测值向量 x ，则第i
现比较本例中从R 出发和例7.2.2中从 Σ 出发的主成 分计算结果。从R 出发的 y1* 的贡献率0.705明显小于 从 Σ 出发的 y1的贡献率0.938，事实上，原始变量方 差之间的差异越大，这一点也就倾向于越明显， * * * （7.2.15）式有助于我们理解之。 y1 , y2 , y3 可用标准 化前的原变量表达如下： x3 − µ3 x1 − µ1 x2 − µ2 *
主成分的值
ˆi ˆ y ji = t′ ( x j − x ) , i = 1, 2,L , p
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 指标，分别用 示，这个 指标构成的 维随机向量为 机向量 的均值为 ，协方差矩阵为 。 表 。设随
对 进行线性变换，可以形成新的综合变量，用 表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
Y1 u11 X 1 u12 X 2 u1 p X p Y2 u 21 X 1 u 22 X 2 u 2 p X p Yp u p1 X 1 u p 2 X 2 u pp X p
20
目录 上页 下页 返回 结束
§5.2.1 总体主成分
(一)从协方差矩阵出发求解主成分 结论： 设随机向量 的协方差矩阵为 ，
为 的特征值， 为矩阵 各特征值对应 的标准正交特征向量，则第 i个主成分为： Yi i1 X 1 i 2 X 2 ip X p 此时：var( Yi ) γ i ' γ i i cov( Y i , Y j ) γ i ' γ j 0 证明：由引论知，对于任意常向量 ，有： （5.3）
第五章
主成分分析
•§5.1 主成分分析的基本思想与理论 •§5.2 总体主成分及其性质 •§5.3 样本主成分的导出 •§5.4 有关问题的讨论 •§5.5 主成分分析步骤及框图 •§5.6 主成分分析的上机实现
2016/5/29
目录 上页 下页 返回 结束
1
• 主成分分析(Principal Components Analysis)也称主 分量分析，是由霍特林（Hotelling）于1933年首先提 出的。 •主成分分析是利用降维的思想，在损失很少信息的 前提下把多个指标转化为几个综合指标的多元统计 方法。
i 1
p
ii
2016/5/29
25
目录 上页 下页 返回 结束
正因如此，才把 称为 的主成分。进而我们就更清楚为 什么主成分的名次是按特征根 取值的大小排序的。
进行主成分分析的目的之一是为了减少变量的个数，所以 一般不会取 个主成分，而是取 个主成分， 取多少比较 合适，这是一个很实际的问题，通常以所取 m 使得累积贡献率 达到85％以上为宜，即 (5.5) 这样，既能使损失信息不太多，又达到减少变量，简化问 题的目的。另外，选取主成分还可根据特征值的变化来确定。 图5-2为SPSS统计软件生成的碎石图。
2016/5/29
目录 上页 下页 返回 结束
5
利用主成分分析得到的主成分与原始变量之 间有如下基本关系：
1.每一个主成分都是各原始变量的线性组合 2.主成分的数目大大少于原始变量的数目 3.主成分保留了原始变量绝大多数信息 4.各主成分之间互不相关
2016/5/29
目录 上页 下页 返回 结束
6
8
因此对 不加限制时，可使 任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
1．
，即：
2．
的一切满足原则1的线性组合中方差最 大者； 是与 不相关的 所有线性组合中方差最 大者；…, 是与 都不相关的 的所有 线性组合中方差最大者。
3. 是
2016/5/29
目录 上页 下页 返回 结束
2016/5/29
目录 上页 下页 返回 结束
3
§5.1.1 主成分分析的基本思想
考虑多个指标对某一问题进行分析的时候会产生如下问
题：
• 为了避免遗漏重要的信息而考虑尽可能多的指标； • 增多增加了问题的复杂性，同时由于各指标均是对同一事 物的反映，不可避免地造成信息的大量重叠，这种信息的重 叠有时甚至会抹杀事物的真正特征与内在规律。 基于上述问题，人们就希望在定量研究中涉及的变量较 少，而得到的信息量又较多。主成分分析正是研究如何通过 原来变量的少数几个线性组合来解释原来变量绝大多数信息 的一种多元统计方法。
9
基于以上三条原则决定的综合变量 Y1 , Y2 , , YP 分 别称为原始变量的第一、第二、…、第 p 个主成分。 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2016/5/29
目录 上页 下页 返回 结束
2016/5/29
目录 上页 下页 返回 结束
13
其矩阵形式为：
其中， 为旋转变换矩阵，由上式可知它是正交阵， 即满足
2016/5/29
目录 上页 下页 返回 结束
14
经过这样的旋转之后， 个样品点在 轴上的离散程度最 大，变量 代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 轴上，对数 据中包含的信息起到了浓缩的作用。进行主成分分析的目的 就是找出转换矩阵 ，而进行主成分分析的作用与几何意义 也就很明了了。下面我们用遵从正态分布的变量进行分析， 以使主成分分析的几何意义更为明显。为方便，我们以二元 正态分布为例。对于多元正态总体的情况，有类似的结论。
又
为标准正交特征向量，于是：
21
目录 上页 下页 返回 结束
2016/5/29
由以上结论，我们把 的协方差矩阵 的非零特 征值 对应的标准化特征向量 分别 Y1 γ 1 ' X ， Y 2 γ 2 ' X ， ， Y p γ p ' X 分别称为随机向 作为系数向量， 量 X 的第一主成分、第二主成分、…、第 p 主成分。 的分量
2016/5/29
目录 上页 下页 返回 结束
17
因此有：
椭圆方程，主轴 方向确定了主成 分的坐标方向
主成分分析的几何意义：主成分分析的过程无非就是坐标系旋 转的过程，各主成分表达式就是新坐标系与原坐标系的转换关 系，在新坐标系中，各坐标轴的方向就是原始数据变差最大的 方向。
2016/5/29 18
2016/5/29
目录 上页 下页 返回 结束
(5.1)
7
由于可以任意地对原始变量进行上述线性变换， 由不同的线性变换得到的综合变量 的统计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 的方差尽可能大且各 之间互相独立， 由于
=
而对任给的常数 ，有
2016/5/29
目录 上页 下页 返回 结束
依次是 的第一主成分、第二主成分、…、第 分的充分必要条件是： （1） ，即 为 阶正交阵； （2） 的分量之间互不相关； （3） 的 个分量是按方差由大到小排列。 主成
2016/5/29
目录 上页 下页 返回 结束
22
于是随机向量
与随机向量
之间存在下面的关系式：
（5.4）
注：无论 的各特征根是否存在相等的情况，对应的标准化 特征向量 总是存在的，我们总可以找到对应各特 征根的彼此正交的特征向量。这样，求主成分的问题就变成了 求特征根与特征向量的问题。
目录 上页 下页 返回 结束
§5.2 总体主成分及其性质
由上面的讨论可知，求解主成分的过程就是 求满足三条原则的原始变量 的线性组
合的过程。本节先从总体出发，介绍求解主成分
的一般方法及主成分的性质，然后介绍样本主成
分的导出。
2016/5/29
目录 上页 下页 返回 结束
19
主成分分析的基本思想就是在保留原始变量尽可能多的信息 的前提下达到降维的目的，从而简化问题的复杂性并抓住问题 的主要矛盾。而这里对于随机变量 而言， 其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间 的相关程度的信息的反应，而相关矩阵不过是将原始变量标准 化后的协方差矩阵。 我们所说的保留原始变量尽可能多的信息，也就是指的生成 的较少的综合变量（主成分）的方差和尽可能接近原始变量方 差的总和。 在实际求解主成分的时候，总是从原始变量的协方差矩阵或 相关矩阵的结构分析入手。一般地说，从原始变量的协方差矩 阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成 分是不同的。。 2016/5/29
2016/5/29
目录 上页 下页 返回 结束
27
定义5.2 第 个主成分 与原始变量 的相关系数 称做 因子负荷量。 因子负荷量是主成分解释中非常重要的解释依据，因子负 荷量的绝对值大小刻画了该主成分的主要意义及其成因。在下 一章因子分析中还将要对因子负荷量的统计意义给出更详细的 解释。由下面的性质我们可以看到因子负荷量与系数向量成正 比。
2016/5/29
目录 上页 下页 返回 结束
ห้องสมุดไป่ตู้
11
设有 个样品，每个样品有两个观测变量 ，这样， 在由变量 组成的坐标空间中， 个样品点散布的情况如 带状，见图5-1。
图5-1
2016/5/29
目录 上页 下页 返回 结束
12
由图可以看出这 个样品无论沿 轴方向还是沿 轴方向均 有较大的离散性，其离散程度可以分别用观测变量 的方差和 的方差定量地表示，显然，若只考虑 和 中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 和 的线性组合，使得原始样品数据可以由新的变量 和 来刻画。 在几何上表示就是将坐标轴按逆时针方向旋转 角度，得到新坐 标轴 和 ，坐标旋转公式如下：
2016/5/29
目录 上页 下页 返回 结束
26
图5-2
由图5-2可知，第二个及第三个特征值变化的趋势已经开始趋于平稳，所 以，取前两个或是前三个主成分是比较合适的。这种方法确定的主成分个数 与按累积贡献率确定的主成分个数往往是一致的。在实际应用中有些研究工 作者习惯于保留特征值大于1的那些主成分，但这种方法缺乏完善的理论支 持。在大多数情况下，当m=3时即可使所选主成分保持信息总量的比重达到 85％以上。
10
§5.1.3 主成分分析的几何意义