第5章多元统计分析第四版

max
u 0
u' u 1 u' u
1 又 γ i 为标准正交特征向量，于是： γ i 'γ j 0
2018/8/9
中国人民大学六西格玛质量管理研究中心
4
目录 上页 下页 返回 结束
§5.1.1 主成分分析的基本思想
既然研究某一问题涉及的众多变量之间有一定的相关性， 就必然存在着起支配作用的共同因素，根据这一点，通过 对原始变量相关矩阵或协方差矩阵内部结构关系的研究， 利用原始变量的线性组合形成几个综合指标（主成分）， 在保留原始变量主要信息的前提下起到降维与简化问题的 作用，使得在研究复杂问题时更容易抓住主要矛盾。一般 地说，利用主成分分析得到的主成分与原始变量之间有如 下基本关系：
其中， U 为旋转变换矩阵，由上式可知它是正交阵， 即满足
U ' U 1 ,
U 'U I
2018/8/9
中国人民大学六西格玛质量管理研究中心
14
目录 上页 下页 返回 结束
经过这样的旋转之后，N 个样品点在 Y1轴上的离散程度最 大，变量 Y1代表了原始数据绝大部分信息，这样，有时在研 究实际问题时，即使不考虑变量 Y2 也无损大局。因此，经过 上述旋转变换就可以把原始数据的信息集中到 Y1轴上，对数 据中包含的信息起到了浓缩的作用。主成分分析的目的就是 找出转换矩阵 U ，而主成分分析的作用与几何意义也就很明 了了。
的标准正交特征向量，则第 i个主成分为：
Y i γ 1i X 1 γ 2 i X 2 γ pi X p
(i 1, 2 ,..., p )
此时：var( Yi ) γ i ' γ i i cov( Y i , Y j ) γ i ' γ j 0 (i j ) （5.3） 证明：由引理知，对于任意常向量 证明：由引论知，对于任意常向量 u ，有：
2018/8/9
中国人民大学六西格玛质量管理研究中心
16
目录 上页 下页 返回 结束
主成分分析的基本思想就是在保留原始变量尽可能多的信息 的前提下达到降维的目的，从而简化问题的复杂性并抓住问题 的主要矛盾。而这里对于随机变量 X 1 , X 2 , , X P 而言，其协方差 矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度 的信息的反应，而相关矩阵不过是将原始变量标准化后的协方 差矩阵。我们所说的保留原始变量尽可能多的信息，也就是指 的生成的较少的综合变量（主成分）的方差和尽可能接近原始 变量方差的总和。因此在实际求解主成分的时候，总是从原始 变量的协方差矩阵或相关矩阵的结构分析入手。一般地说，从 原始变量的协方差矩阵出发求得的主成分与从原始变量的相关 矩阵出发求得的主成分是不同的。下面我们分别就协方差矩阵 与相关矩阵进行讨论。
12
目录 上页 下页 返回 结束
由图可以看出这 N 个样品无论沿 X 1 轴方向还是沿 X 2 轴方向均 有较大的离散性，其离散程度可以分别用观测变量 X 1 的方差和 X 2 的方差定量地表示，显然，若只考虑 X 1 和 X 2中的任何一个，原 始数据中的信息均会有较大的损失。我们的目的是考虑 X 1 和 X 2 的线性组合，使得原始样品数据可以由新的变量 Y1 和 Y2 来刻画。 在几何上表示就是将坐标轴按逆时针方向旋转角度，得到新坐 标轴 Y1 和Y2 ，坐标旋转公式如下：
因此对 u i不加限制时，可使 var(Yi ) 任意增大，问题将变得没 有意义。我们将线性变换约束在下面的原则之下：
u i ' u i 1， 1．
(i 1, 2 ,.... p )。
2． Yi与Y j 相互无关 (i j ; i , j 1, 2,.... p )。
Y2 是与 Y1 不相关的 X 1 , X 2 , , X P 所有线性组合中方差最 大者； 大者；…, Yp是与 Y1 , Y2 , , YP 1 都不相关的 X 1 , X 2 , , X P 的所有 线性组合中方差最大者。
中国人民大学六西格玛质量管理研究中心
7
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
由于可以任意地对原始变量进行上述线性变换， Y 由不同的线性变换得到的综合变量 的统计特性也 不尽相同。因此为了取得较好的效果，我们总是希 望 之间互相独立， Yi 的方差尽可能大且各 ui 'X Yi 由于
中国人民大学六西格玛质量管理研究中心
2
目录 上页 下页 返回 结束
§5.1 主成分分析的基本原理
§5.1.1 主成分分析的基本思想 §5.1.2 主成分分析的基本理论
§ 5.1.3 主成分分析的几何意义
2018/8/9
中国人民大学六西格玛质量管理研究中心
3
目录 上页 下页 返回 结束§5.1.1 主成分分来自的基本思想2018/8/9
中国人民大学六西格玛质量管理研究中心
1
目录 上页 下页 返回 结束
第5章
主成分分析
•§5.1 主成分分析的基本原理
•§5.2 总体主成分及其性质 •§5.3 样本主成分的导出 •§5.4 有关问题的讨论 •§5.5 主成分分析步骤及框图 •§5.6 主成分分析的上机实现
2018/8/9
3.Y1是 X 1 , X 2 , , X P 的一切满足原则1的线性组合中方差最
2018/8/9
中国人民大学六西格玛质量管理研究中心
9
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
基于以上三条原则决定的综合变量 Y1 , Y2 , , YP 分 p 个主成分。 别称为原始变量的第一、第二、…、第 其中，各综合变量在总方差中占的比重依次递减， 在实际研究工作中，通常只挑选前几个方差最大的 主成分，从而达到简化系统结构，抓住问题实质的 目的。
2018/8/9
中国人民大学六西格玛质量管理研究中心
10
目录 上页 下页 返回 结束
§5.1.3 主成分分析的几何意义
由第一节的介绍我们知道，在处理涉及多个指标问题的时 候，为了提高分析的效率，可以不直接对 p 个指标构成的 p 维 随机向量 X ( X 1 , X 2 , , X p )' 进行分析，而是先对向量 X 进行线 性变换，形成少数几个新的综合变量Y1 , Y2 , , Y P ，使得各综 合变量之间相互独立且能解释原始变量尽可能多的信息，这样， 在以损失很少部分信息为代价的前提下，达到简化数据结构， 提高分析效率的目的。这一节，我们着重讨论主成分分析的几 何意义，为了方便，我们仅在二维空间中讨论主成分的几何意 义，所得结论可以很容易地扩展到多维的情况。
Y1 X 1 cos X 2 sin Y2 X 1 sin X 2 cos
2018/8/9
中国人民大学六西格玛质量管理研究中心
13
目录 上页 下页 返回 结束
其矩阵形式为：
Y1 cos Y2 sin sin X 1 U X cos X 2
2018/8/9
中国人民大学六西格玛质量管理研究中心
6
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 p 指标，分别用 X 1 , X 2 , , X P 表 示，这个 p 指标构成的 p 维随机向量为 X ( X 1 , X 2 , , X p )'。设随 机向量 X 的均值为 μ ，协方差矩阵为 Σ。 对 X 进行线性变换，可以形成新的综合变量，用 Y 表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
2018/8/9
中国人民大学六西格玛质量管理研究中心
17
目录 上页 下页 返回 结束
§5.2.1从协方差矩阵出 发求解主成分
， n依大小顺序 引理：设矩阵 A ' A ，将 A 的特征值 1， 2， γ 1， γ 2， ，γ p 排列，不妨设1 2 n， 为 A 矩阵各特征值对 应的标准正交特征向量，则对任意向量，有：
第 5章
主成分分析
主成分分析（principal components analysis）也称主分量 分析，最早可追溯到K.Pearson于1901年开创的非随机变量的 多元转化分析；是由霍特林（Hotelling）于1933年推广到随 机变量。主成分分析是利用降维的思想，在损失很少信息的 前提下把多个指标转化为几个综合指标的多元统计方法。通 常把转化生成的综合指标称之为主成分，其中每个主成分都 是原始变量的线性组合，且各个主成分之间互不相关，这就 使得主成分比原始变量具有某些更优越的性能。这样在研究 复杂问题时就可以只考虑少数几个主成分而不至于损失太多 信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的 规律性，同时使问题得到简化，提高分析效率。
2018/8/9
中国人民大学六西格玛质量管理研究中心
15
目录 上页 下页 返回 结束
§5.2 总体主成分及其性质
由上面的讨论可知，求解主成分的过程就是
求满足三条原则的原始变量X 1 , X 2 , , X P 的线性组
合的过程。本节先从总体出发，介绍求解主成分
的一般方法及主成分的性质，然后介绍样本主成 分的导出。
var( Yi ) var( u i ' X ) = u i ' u i
而对任给的常数 c ，有
var( c u i ' X ) c u i ' u i c
2018/8/9
c
2
u i ' u i
中国人民大学六西格玛质量管理研究中心
8
目录 上页 下页 返回 结束
§5.1.2 主成分分析的基本理论