第3章 主成分分析

正如二维椭圆有两个主轴，三维椭球 有三个主轴一样，有几个变量，就有 几个主成分。 选择越少的主成分，降维就越好。什 么是标准呢？那就是这些被选的主成 分所代表的主轴的长度之和占了主轴 长度总和的大部分。有些文献建议， 所选的主轴总长度占所有主轴长度之 和的大约85%即可，具体选几个，要看 实际情况而定。
对于多维变量的情况和二维类似，也 有高维的椭球，只不过无法直观地看 见罢了。 首先把高维椭球的主轴找出来，再用 代表大多数数据信息的最长的几个轴 作为新变量；这样，主成分分析就基 本完成了。 注意，和二维情况类似，高维椭球的 主轴也是互相垂直的。这些互相正交 的新变量是原先变量的线性组合，叫 做主成分(principal component)。
量纲相同， 量纲相同，用协方差阵求解主成分的步骤
1. 求样本均值 X = (x1, x2 ) 和样本协方差矩阵S; 2. 求S的特征根
求解特征方程 S −λI = 0 ，其中I是单位矩阵， 解得2个特征根 λ1, λ2 (λ1 ≥ λ2 ) 3. 求特征根所对应的单位特征向量 4. 写出主成分的表达式
x1 和 x2 的加权和，表示该生成绩
第二主成分F2表示学生两科成绩的均衡性
6. 比较主成分重要性 第一主成分F1的方差为 λ = 378.9 1 方差贡献率
第三章 系统模型与模型化
工业工程教研室
1
第三章 系统模型与模型化
第一节： 第一节：系统模型与模型化概述 第二节： 第二节：系统结构模型化技术 第三节：主成份分析及聚类分析 第三节： 第四节： 第四节：状态空间模型 第五节： 第五节：系统工程模型技术的新进展
2
第三节
什么是主成分分析
主成分分析
主成分分析（ Analysis） 主成分分析（Principal Components Analysis） 也称主分量分析 是将多个指标，化为少数几个不相关的 是将多个指标， 综合指标的一种统计方法。 综合指标的一种统计方法。
F 1
x1
由图可见这n个样品点无论是沿着X 轴方向或X 由图可见这n个样品点无论是沿着X1轴方向或X2轴方向都具有较 大的离散性，其离散的程度可以分别用观测变量X 的方差和X 大的离散性，其离散的程度可以分别用观测变量X1的方差和X2 的方差定量地表示。 的方差定量地表示。
主 成 分 分 析 的 几 何 解 释
F 1
x1
主 成 分 分 析 的 几 何 解 释
x2 F2
• •• •• • • • • • • •• •• • • • • • • • ••• • • • •• • •••• • • •• • • • • • • • • • •• • ••• • • • • • •• • • • • •• •• • • •• • • • • • • • • • • • • • • •• • • • • • • • •
(323.4 − 378.9)a11 + 103.1a 21 = 0 103.1a11 + (187.5 − 378.9)a 21 = 0
2 2 a11 + a21 = 1
解得 （ a11 , a 21 ）= (0.88,0.47 )
λ2
α12 所对应的单位特征向量( S − λ2Ι)α 2 = 0 ，其中 α 2 = α 22
第二节 主成分的求解
假设我们所讨论的实际问题中， 假设我们所讨论的实际问题中，有p个指标， 个指标， 我们把这p个指标看作p个随机变量， 我们把这p个指标看作p个随机变量，记为 X1，X2，…，Xp ， 主成分分析就是要把这p个指标的问题， 主成分分析就是要把这p个指标的问题，转 变为讨论p 变为讨论p个指标的线性组合的问题
在综合评价工业企业的经济效益中，考核指标有： 在综合评价工业企业的经济效益中，考核指标有： 每百元固定资产原值实现产值、 1每百元固定资产原值实现产值、 每百元固定资产原值实现利税、 2每百元固定资产原值实现利税、 每百元资金实现利税、 3每百元资金实现利税、 4每百元工业总产值实现利税、 每百元工业总产值实现利税、 每百元销售收入实现利税、 5每百元销售收入实现利税、 每吨标准煤实现工业产值、 6每吨标准煤实现工业产值、 每千瓦电力实现工业产值、 7每千瓦电力实现工业产值、 全员劳动生产率、 8全员劳动生产率、 9每百元流动资金实现的产值 指标间信息有重叠，指标数量又多。 指标间信息有重叠，指标数量又多。 经过主成分分析计算，最后确定选择了2个主成分作为综合 经过主成分分析计算， 最后确定选择了2 评价工业企业经济效益的依据，变量数由9个减少到2 评价工业企业经济效益的依据，变量数由9个减少到2个，这两 个主成分代表的信息达91 91. 使所研究的问题简化。 个主成分代表的信息达91.6%，使所研究的问题简化。
F 1
x1
当坐标轴和椭圆的长短轴平行，那么代表长轴 的变量就描述了数据的主要变化，而代表短轴 的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。 因此，需要寻找椭圆的长短轴，并进行变换， 使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息， 就用该变量代替原先的两个变量（舍去次要的 一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维效果就 越好。
x1 71.25 X = = x 67.5 2
323.4 S = 103.1 187.5
2. 求解特征方程
S − λI ＝0
323.4 − λ 103.1 =0 103.1 187.5 − λ
323.4 S = 103.1 187.5
主成分得分: 主成分得分: 当选取了n个主成分后， 当选取了n个主成分后，把样本数据代入各主 成分表达式可得样本的主成分得分。 成分表达式可得样本的主成分得分。 若主成分是由原始数据协方差阵计算的， 若主成分是由原始数据协方差阵计算的 ， 则 计算主成分得分时，用原始数据。 计算主成分得分时，用原始数据。 若主成分是由标准化数据计算，即由R计算， 若主成分是由标准化数据计算，即由R计算， 则计算主成分得分时，一定要用标准化数据， 则计算主成分得分时， 一定要用标准化数据 ， 否则会出现错误。 否则会出现错误。
(323.4 − λ )(187.5 − λ ) − 103.12 = 0
化简得：λ2 − 510.9λ + 50007 .9 = 0 解得： λ1 = 378.9, λ2 = 132
3.求特征值所对应的单位特征向量
323.4 S = 103.1 187.5
a11 λ1所对应的单位特征向量 (S − λ1Ι)α1 = 0 ，其中α1 = a 21
主成分的方差贡献率
在实际问题中， 在实际问题中，利用主成分的目的是为了减少变 量的个数，所以一般不用P个主成分，而是根据如 量的个数，所以一般不用P个主成分， 下方法选取前K个主成分。 下方法选取前K个主成分。 定义 α i = λi p
i =1
∑λ
i
为第i主成分Y 的方差贡献率。 为第i主成分Yi的方差贡献率。 这个值越大，说明这个主成分Y 这个值越大，说明这个主成分Yi综合原指标信息的 能力越强。 能力越强。
Y1 = a11 X 1 + a12 X 2 + L + a1 p X p Y2 = a21 X 1 + a22 X 2 + L + a2 p X p M Yp = a p1 X 1 + a p 2 X 2 + L + a pp X p
ai = ( ai1 , ai 2 ,L aip )
并且满足： 并且满足： 1
Y1 = a11 X 1 + a12 X 2 + L + a1 p X p Y2 = a21 X 1 + a22 X 2 + L + a2 p X p M Yp = a p1 X 1 + a p 2 X 2 + L + a pp X p
主成分分析通常的做法是，寻求原指标的线性组合 主成分分析通常的做法是，寻求原指标的线性组合Yi。
(323.4 − 132)a12 + 103.1a22 = 0 103.1a12 + (187.5 − 132)a22 = 0
2 2 a12 + a22 = 1
解得： (a12 , a22 ) = (−0.47,0.88)
4. 得到主成分的表达式 第一主成分：F1 = 0.88( x1 − 71.25) + 0.47( x2 − 67.5) 第二主成分：F2 = −0.47( x1 − 71.25) + 0.88( x2 − 67.5) 5.主成分的含义 通过分析主成分的表达式中原变量前的系数来解释 各主成分的含义。 第一主成分F1是 的好坏。
定义
∑λ ∑λ
i =1 i =1 p
k
i
λ1 + L + λ k = λ1 + L λ p
K≤P） （ K≤P）
i
为主成分Y 为主成分Yl, Y2,…,Yk的累积方差贡献率。 ,Y 的累积方差贡献率。 当前K 个主成分的累积方差贡献率达到 85% 以 85% 当前 K 个主成分的累积方差贡献率达到85 上时，就取K个主成分。这样K 上时，就取K个主成分。这样K个主成分基本反映 了原指标的信息，指标数目由P个减少到K 了原指标的信息，指标数目由P个减少到K个。 这种由讨论多个指标降为少数几个综合指标的过 程在数学上就叫做降维。 程在数学上就叫做降维。
主成分分析的几何意义： 主成分分析的几何意义：
为了直观，先在二维空间中讨论主成分的几何意义。 为了直观，先在二维空间中讨论主成分的几何意义。 一般情况下，例如有n个样品， 一般情况下，例如有n个样品，每个样品有两个变量 个样品的散点图如带状. 值X1和X2，这n个样品的散点图如带状.