机器学习之降维—PCA,LDA
几种降维思想方法总结
几种降维思想方法总结降维（Dimensionality Reduction）是机器学习与数据挖掘领域非常重要的一个技术，其主要目的是剔除无关信息，提取数据的本质特征，并将高维数据映射到低维空间进行处理。
降维方法主要有两大类：特征选择和特征提取。
在本文中，我们将总结几种常见的降维方法思想。
1. 主成分分析（Principal Component Analysis，PCA）PCA是一种最常见的降维方法，其思想是将原始特征通过线性变换，得到一组新的互不相关的特征，这些新特征被称为主成分。
主成分的选择是根据方差来确定，保留方差多的特征，可以更好地保留数据的信息。
通过选择合适的主成分数目，我们可以将原本具有很高维度的数据映射到一个低维的空间中，从而达到降维的目的。
2. 因子分析（Factor Analysis）因子分析是另一种常用的降维方法，它假设观测数据是由一组潜在的因子（Latent Variables）决定的。
通过寻找这些潜在因子，我们可以在保留数据信息的前提下，将原始特征的维度降低。
因子分析可以用于探索数据之间的潜在关系，还可以用于处理带有缺失值的数据，通过估计缺失值进行降维。
3. 独立成分分析（Independent Component Analysis，ICA）ICA是一种基于统计独立性的降维方法，它假设观测数据是由相互独立的成分组成的。
与PCA不同，ICA并不追求数据的方差最大化，而是追求数据之间的独立性。
ICA可以将观测数据分解为多个互不相关的独立成分，从而实现数据的降维。
4. 线性判别分析（Linear Discriminant Analysis，LDA）LDA是一种用于分类问题的降维方法，它通过将原始数据投影到低维空间中，从而最大限度地保留数据的类别信息。
LDA寻找一个最佳投影方向，使得同一类别的数据尽可能接近，不同类别的数据尽可能分开。
通过LDA降维，可以在不降低分类性能的情况下，减少数据的维度。
Pca与lda算法分析
PCA与LDA算法分析主成份分析（PCA）和线性判别分析（LDA）是两种常见的统计分析技术，它们在数据降维、特征提取和分类问题方面都有广泛的应用。
本篇文章将介绍PCA和LDA算法的基本原理和应用。
PCA算法PCA算法是一种常用的数据降维算法，它可以将高维数据转化为低维数据，而且保留了原数据的大部分信息。
PCA主要应用于数据压缩和数据可视化的处理过程中。
PCA算法的步骤1.数据的标准化：将数据的每个特征缩放至零均值和单位标准差的规模。
2.计算协方差矩阵：计算出数据的协方差矩阵。
3.求出协方差矩阵的特征向量和特征值：计算协方差矩阵的特征向量和特征值，选择特征值最大的前K个。
4.将原始数据转换到新的坐标系上：将原始数据投影到新的坐标轴上。
PCA算法的应用1.数据的可视化：PCA算法降低了数据的维度，可以将数据在二维或三维平面上可视化。
2.数据压缩：PCA算法可以对数据进行压缩，减少存储空间和计算开销。
3.模式识别：PCA算法可以用于模式识别问题，例如人脸识别。
LDA算法LDA算法是一种有监督的线性降维技术，它可以对数据进行分类和特征提取。
与PCA算法不同，LDA算法对数据标签进行了考虑，通过最大化类内距离和最小化类间距离，将样本映射到一个低维子空间中。
LDA算法的步骤1.计算各类别的均值向量：计算各类别的均值向量。
2.计算类内离散度矩阵：计算每个类别的样本离其均值向量的距离的协方差矩阵的和。
3.计算类间离散度矩阵：计算所有类别均值向量之间的协方差矩阵。
4.求出最大化的目标函数：该目标函数可以通过求解广义特征值问题获得。
5.投影样本到低维子空间上：通过选择最大的前K个特征向量，将数据映射到一个低维子空间中。
LDA算法的应用LDA算法在目标识别和分类问题中有广泛的应用，例如人脸识别、指纹识别以及语音识别。
PCA和LDA算法的比较PCA和LDA都可以用于数据降维和特征提取，但是两种算法的应用场景不同。
•PCA通常用于未标记的数据，它是一种非监督方法，只是纯粹的降维，不能进行分类。
掌握机器学习的特征选择和降维方法
掌握机器学习的特征选择和降维方法特征选择和降维是机器学习中非常重要的两个步骤。
在处理大规模数据集和高维数据时，选择合适的特征和降低维度可以提高模型的效率和准确性。
本文将介绍机器学习中常用的特征选择和降维方法，以及它们的应用。
一、特征选择方法特征选择是从原始特征集中选择出对目标变量有关系的最重要的特征。
常用的特征选择方法包括过滤式、包裹式和嵌入式三种。
1.过滤式特征选择过滤式特征选择独立于机器学习算法，通过统计方法或者特征相关度评估来选择特征。
常用的方法有皮尔逊相关系数、卡方检验、互信息和方差分析等。
这些方法能够评估特征与目标变量之间的相关性，从而选择出与目标变量相关性较高的特征。
2.包裹式特征选择包裹式特征选择使用实际的机器学习算法来评估特征的好坏。
它通过反复训练机器学习模型，并根据特征子集的性能进行评估和选择。
常用的包裹式特征选择方法有基于遗传算法的方法和递归特征消除等。
这些方法能够更准确地选择出对于机器学习算法性能影响较大的特征。
3.嵌入式特征选择嵌入式特征选择将特征选择融入到机器学习算法中，直接通过算法本身来选择特征。
经典的嵌入式特征选择方法有L1正则化和决策树算法等。
这些方法能够通过特征权重或者特征重要性指标来选择特征。
二、降维方法降维是将原始数据映射到一个低维空间中，减少数据的维度。
降维的目标是保留尽量多的数据信息，同时减少数据的复杂度和计算开销。
常用的降维方法包括主成分分析（PCA）、线性判别分析（LDA）和因子分析等。
1.主成分分析（PCA）主成分分析是一种常用的无监督降维技术，通过线性变换将原始特征映射到新的低维子空间中。
它能够最大化数据方差，实现降维的同时保留较多的数据信息。
主成分分析在图像处理、模式识别和数据可视化等领域有着广泛的应用。
2.线性判别分析（LDA）线性判别分析是一种有监督降维方法，它同时考虑了数据映射到低维空间后的类别可分性和类内紧凑性。
线性判别分析在模式识别和人脸识别等领域有着重要的应用。
机器学习技术中的特征降维方法介绍
机器学习技术中的特征降维方法介绍特征降维是机器学习领域中常用的技术之一，它通过减少输入特征中的冗余信息和噪声，从而提高了机器学习算法的效率和性能。
在本文中，我将介绍几种常用的特征降维方法。
首先，主成分分析（Principal Component Analysis，PCA）是最常用的特征降维方法之一。
它通过线性变换将原始特征投影到新的特征空间中，使得新的特征可以最大程度地保留原始数据的信息。
PCA首先计算出原始数据的协方差矩阵，然后通过对协方差矩阵进行特征值分解，得到一组正交的基向量，即主成分。
最后，选择最重要的主成分作为新的特征进行降维。
其次，线性判别分析（Linear Discriminant Analysis，LDA）是一种类别有监督的特征降维方法。
与PCA不同，LDA考虑了样本之间的类别信息，它通过最大化类别间的散度和最小化类别内的散度，找到一个最优的投影方向，使得不同类别的样本尽可能分开，同一类别的样本尽可能聚集在一起。
LDA在特征提取和分类任务中均有广泛应用。
另一种常用的特征降维方法是因子分析（Factor Analysis）。
因子分析假设原始数据可以由一组潜在的隐变量或因子线性组合而成，通过无监督学习的方式估计这些因子和因子与原始特征之间的关系。
因子分析旨在找到一个最小的因子集合，能够解释原始特征中的大部分变异。
因子分析的应用领域包括心理学、社会学和金融学等。
除了上述方法，还有一些非线性的特征降维方法被广泛使用。
例如，核主成分分析（Kernel Principal Component Analysis，KPCA）基于核方法，它通过将原始数据映射到一个高维的特征空间，然后在新的特征空间中进行PCA。
KPCA能够处理非线性关系的数据，适用于许多实际问题。
另外，自编码器（Autoencoder）也是一种流行的非线性特征降维方法。
自编码器是一种神经网络结构，可以使用无监督学习的方式自动学习数据的低维表示。
数据降维的常用方法分析
数据降维的常用方法分析数据降维是一种数据处理技术，通过减少数据的维度来帮助人们更好地理解数据，提高机器学习模型的效果和效率。
在大数据时代，降维技术尤为重要，因为大量的高维数据往往会使数据处理和分析变得困难和耗时。
本文将介绍数据降维的常用方法，包括主成分分析（PCA）、线性判别分析（LDA）、因子分析（FA）和独立成分分析（ICA）。
主成分分析（PCA）是一种常用的数据降维方法，通过线性变换将原有的高维特征表示转化为一组新的低维特征表示。
PCA的核心思想是找到一组方向，使得数据在这些方向上的投影具有最大的方差。
简单来说，PCA希望能找到最能代表数据特征的方向，并将数据映射到这些方向上。
通过选择保留的主成分个数，可以实现数据降维。
PCA在不需要先验知识的情况下进行降维，但可能会丢失一些原始数据的细微差别。
线性判别分析（LDA）是一种有监督的降维方法，主要用于特征提取和分类。
LDA的目标是找到一个投影，使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能远离。
与PCA不同，LDA在降维的过程中，利用了类别信息。
通过选择最能区分各个类别的投影，可以实现数据的降维。
因子分析（FA）是一种经典的数据降维方法，主要用于探索性数据分析和潜在变量分析。
FA的目标是通过寻找潜在的因子结构来解释观测到的变量之间的相关性。
FA假设观测到的变量是由一组潜在因子和测量误差共同决定的，通过找到最能解释数据中变异的潜在因子，可以实现数据的降维。
与PCA和LDA相比，FA更加注重数据背后的因果关系和隐含结构。
独立成分分析（ICA）是一种用于解决盲源分离问题的数据降维方法。
ICA假设观测到的数据是由多个相互独立的源信号混合得到的，通过寻找独立源信号，可以实现数据的降维和源信号的分离。
ICA广泛应用于信号处理、图像处理和语音识别等领域。
除了上述常用的数据降维方法，还有一些其他的方法，如核主成分分析（KPCA）、非负矩阵分解（NMF）和局部线性嵌入（LLE）等。
机器学习中的特征降维方法与应用
机器学习中的特征降维方法与应用特征降维是机器学习中非常重要的步骤之一。
在大数据时代，特征维度的增加往往意味着模型的复杂度和计算的困难性的增加。
而特征降维的主要目标就是在保留尽可能多的信息的同时，减少特征维度，从而提高模型的性能和效率。
本文将介绍机器学习中常用的特征降维方法以及它们在实际应用中的情况。
一、主成分分析（Principal Component Analysis, PCA）主成分分析是一种常用的线性特征降维方法。
它通过找到原始特征中的主要方向来实现降维。
具体而言，PCA将原始特征通过线性变换转化为新的一组特征，使得新特征之间无相关性，且第一主成分的方差最大。
这样，我们可以只选择部分主成分来代表原始特征的大部分信息。
PCA在图像处理、信号处理等领域中具有广泛的应用。
二、线性判别分析（Linear Discriminant Analysis, LDA）线性判别分析是一种有监督的特征降维方法。
与PCA不同的是，LDA考虑了类别信息，并将其作为降维的依据。
LDA的目标是在保持类别之间的可分性的同时，最大化类别内部的相似性。
通过计算类别之间的散度矩阵和类别内散度矩阵的特征向量，可以得到一组新的特征，实现降维。
LDA在人脸识别、文本分类等领域中被广泛应用。
三、t-SNEt-SNE（t-Distributed Stochastic Neighbor Embedding）是一种非线性降维方法，常用于可视化高维数据。
与PCA和LDA不同，t-SNE通过保持数据点之间的相似度来实现降维。
具体而言，t-SNE首先计算数据点之间的相似度概率，然后在低维空间中重建这些相似度概率。
t-SNE的优势在于能够保留原始数据中的局部结构，并可视化高维数据中的聚类效果。
因此，在数据可视化和聚类分析中，t-SNE是一个常用的工具。
四、因子分析（Factor Analysis）因子分析是一种统计学方法，用于研究观测变量之间的潜在因子结构。
数据降维方法及其应用
数据降维方法及其应用数据降维是在机器学习和数据分析中经常使用的一种技术，它可以帮助我们从海量的数据中提取出重要的特征，以减少数据的维度并保留数据的关键信息。
本文将介绍一些常用的数据降维方法，并探讨它们在实际应用中的作用和效果。
一、主成分分析法(Principal Component Analysis, PCA)主成分分析是一种经典的数据降维方法，它通过线性变换将高维数据映射到低维空间中。
其基本思想是找到一组新的正交基，使得数据在新的基上具有最大的方差。
这样做的好处是，我们可以只保留方差较大的主成分，而忽略方差较小的次要成分，从而达到降低数据维度的目的。
PCA的应用非常广泛，比如在图像处理中，可以利用PCA将高维图像数据降低到低维，以实现图像的压缩和去噪等功能。
此外，在生物信息学中，PCA也常被用于基因表达数据的降维和挖掘，以辅助研究人员发现潜在的基因调控模式。
二、独立成分分析法(Independent Component Analysis, ICA)独立成分分析是一种非线性的数据降维方法，它的目标是将高维数据分解为多个相互独立的成分。
与PCA不同的是，ICA假设数据是由多个独立的隐变量线性组合而成的，通过寻找这些隐变量的线性组合权重，可以将数据进行降维。
ICA在信号处理、盲源分离等领域有广泛的应用。
例如，在语音信号处理中，利用ICA可以将混合语音分解为原始的音频信号，有助于语音识别和语音增强等任务的完成。
三、线性判别分析法(Linear Discriminant Analysis, LDA)线性判别分析是一种经典的分类数据降维方法，它的目标是找到一个投影方向，使得同类别样本的投影点尽可能近，不同类别样本的投影点尽可能远，从而实现样本的有效分类。
LDA可以看作是PCA在分类问题上的扩展。
LDA在模式识别、人脸识别等领域有广泛的应用。
例如，在人脸识别中，利用LDA可以提取出具有判别性的特征，从而实现对人脸图像的分类和识别。
机器学习_降维算法
机器学习_降维算法降维算法是机器学习中常用的一种算法，旨在将高维数据转换为低维空间的表示，同时尽量保留原始数据的关键信息。
这对于处理高维数据时非常有用，可以降低计算复杂度、提高模型的训练速度和性能。
本文将介绍几种常见的降维算法，包括主成分分析(PCA)、线性判别分析(LDA)和t-SNE。
首先介绍主成分分析(PCA)。
PCA是一种无监督学习算法，旨在通过线性变换将数据投影到新的正交特征空间上，使得每个特征向量的方差最大化。
这样可以保留数据中最重要的方差，并减少特征之间的相关性。
具体而言，PCA的思想是找到数据中方差最大的方向，然后找到与该方向正交的方向中方差第二大的方向，依次进行，直到找到d个方差最大的方向，其中d是降维后的维度。
PCA的一个重要应用是数据可视化，通过将数据降维到2或3维，可以将高维数据在二维或三维图形中展示出来，更好地理解数据的结构。
最后介绍t-SNE。
t-SNE 是一种非线性降维算法，旨在将高维数据转换到低维空间上，同时保留数据间的局部结构。
与前两种算法不同，t-SNE 并不考虑全局的特征，而是聚焦于局部的相似性。
具体而言，t-SNE使用概率分布来衡量高维空间中样本之间的相似性，使用 t 分布来衡量低维空间中样本之间的相似性。
然后通过最小化两种分布之间的Kullback-Leibler 散度，将高维数据映射到低维空间。
因此，t-SNE 在处理可视化问题时非常有用，可以将高维数据转换为低维空间，并保留数据之间的局部相似性。
总结一下，降维算法是机器学习中重要的工具，在处理高维数据时起到了关键作用。
本文介绍了三种常见的降维算法：主成分分析(PCA)、线性判别分析(LDA)和t-SNE。
它们分别适用于不同的场景，可以根据具体的问题选择合适的算法。
同时，降维算法也有一些限制，例如可能丢失一些细节信息，因此在应用时需要权衡利弊。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Σ I 0
， 可 得 特 征 根
1 2 p 0
34
第二步：求出分别所对应的特征向量U1，U2，…，Up，
Ui u1i，u2i， ，u pi
T
T
第三步：计算累积贡献率，给出恰当的主成分个数 。
Fi U i X，i 1 ， 2， ，k (k p)
二、LDA基本思想
三、LDA目标
题目: 主成分分析 PCA
Principal Component Analysis
预习内容
（1）均值的概念和定义，期望用来表示什么？ （2）方差的概念和定义，方差用来表示什么？ （3）协方差和协方差矩阵的概念和定义，协方 差的作用及意义？ 请大家掌握：方差的数学运算，期望的数学运 算，协方差矩阵的数学运算，方阵的特征值与 特征向量的求解方法
20
主要内容
一、主成分的定义及导出
二、主成分的几何意义
三、主成分的性质和例子
一、主成分的定义及导出
x y1 a11 x1 a21x2 a p1x p a1 a1 1 下寻求向量a1 ，使 希望在约束条件 a1 Σa1 达到最大， y1 就称为第一主成分。 得 V y1 a1 t i t1i , t2i ,, t pi , 设 1 2 p 0 为 Σ 的特征值， i 1,2,, p 为相应的单位特征向量，且相互正交。
外贸平衡等等。
在进行主成分分析后，竟以97.4％的精度，用三 个新变量就取代了原17个变量。
7
实例2: 成绩数据
100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
8
从本例可能提出的问题
目前的问题是，能不能把这个数据的
6 个变量用一两个综合变量来表示呢 ？ 这一两个综合变量包含有多少原来的 信息呢？ 能不能利用找到的综合变量来对学生 排序呢？
y T x
该正交变换的几何意义是将 R p 中由x1 , x2 ,, x p 构成的 原 p 维坐标轴作一正交旋转，一组正交单位向 量 t1 , t 2 ,, t p 表明了 p 个新坐标轴的方向，这些新坐 标轴彼此仍保持正交（或说垂直）。
三、主成分的性质
一、两个线性代数的结论
1、若A是p阶实对称阵，则一定可以找到正交阵U，使
yi t1i x1 t2i x2 t pi x p t i 1,2,, p i x,
二、主成分的几何意义
在几何上， ti 表明了第 i 主成分的方向， yi 是 x 在 ti 上的投影值（即投影长度）， i 是这些值的方差， 它反映了在 ti上投影点的分散程度。 y y , y , , y 记 1 2 p ，则主成分向量 y 与原始向量 x 有如下关系：
1前言
假定你是一个公司的财务经理，掌握了公司的所有 数据，比如固定资产、流动资金、每一笔借贷的数 额和期限、各种税费、工资支出、原料消耗、产值 、利润、折旧、职工人数、职工的分工和教育程度 等等。 实例1 实例2
你必须要把各个方面作出高度概括，用一两个指标 简单明了地把情况说清楚。
2. 问题的提出
10
原理： 主成分分析就是试图在力保数据
信息丢失最少的原则下，对这种多变量的数
据表进行最佳综合简化，也就是说，对高维
变量空间进行降维处理。
很显然，识辨系统在一个低维空间要比
在一个高维空间容易得多。
PCA的目标就是找到这样的“主元”(即问题
中的主元成分)，最大程度的除冗余和噪音的
干扰。
11
问题描述
坐标轴的两个坐标值；
如果这些数据形成一个椭圆形状的
点阵（这在变量的二维正态的假定下
是可能的）.
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
14
F2
• • • • • • • • • •
• •• • • • • • • • • • • • • • • • • • • • • • •
在力求数据信息丢失最少的原则下，对高维的变量空间 降维，即研究指标体系的少数几个线性组合，并且这几个线 性组合所构成的综合指标将尽可能多地保留原来指标变异方 面的信息。这些综合指标就称为主成分。要讨论的问题是：
(1)
如何作主成分分析?
当分析中所选择的变量具有不同的量纲， 变量水平差异很大，应该怎样选择?
分。求得的第二主成分为
y2 t12 x1 t22 x2 t p 2 x p t 2x
其方差为2 。 i ai 1 一般来说， x 的第i 主成分是指：在约束条件a 和Cov yk , yi 0, k 1,2,, i 1 下寻求a i ，使 i 得 V yi a i Σai 达到最大。第 主成分为
设 x ( x1 , x2 ,, x p ) 为一个 p 维随机向量，E x μ ， V x Σ。考虑如下的线性变换
则可求得第一主成分为
x y1 t11 x1 t21 x2 t p1 x p t1
它的方差具有最大值 1 。
Σa1 V y1 a1
-4
-2
0
2
4
-4
-2
0
2
4
18
二维数据
4 -4 -2 0 2
-4
-2
0
2
4
19
进一步解释PCA
当坐标轴和椭圆的长短轴平行，那么代表长轴 的变量就描述了数据的主要变化，而代表短轴 的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。 因此，需要寻找椭圆的长短轴，并进行变换， 使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息， 就用该变量代替原先的两个变量（舍去次要的 一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有 道理。
4
各个变量之间差异很大 5
（2） 如何选择几个主成分。
主成分分析的目的是简化变量，一般情
况下主成分的个数应该小于原始变量的个数
。应该保留几个主成分才能最大化的代表原
始信息？
6
实例1: 经济分析
美国的统计学家斯通 (Stone) 在 1947 年关于国民 经济的研究是一项十分著名的工作。他曾利用美国 1929 一 1938 年各年的数据，得到了 17 个反映国民收 入与支出的变量要素，例如雇主补贴、消费资料和 生产资料、纯公共支出、净增库存、股息、利息、
• • •• • •
• •• • • • • • • • •• • • • • • • • • • • •
x1
•
• • •
• • •
•
椭圆有一个长轴和一
个短轴。在短轴方向上，
数据变化很少；在极端的
情况，短轴如果退化成一
点，那只有在长轴的方向 才能够解释这些点的变化 了；这样，由二维到一维 的降维就自然完成了。
16
F2
• • • • ••
•
• ••
•• • ••
••
••
• •
•• • •• • •
x1
平移、旋转坐标轴
x2
主 成 分 分 析 的 几 何 解 释
17
F2
• •• • • • • • •
F1
• • • • • • • • • • • • • • •• • • • • • • • • •• • • • • • • • • • • • • •• • •• • • • •• • • •
个不相关的随机变量的方差之和。
协方差矩阵 的对角线上的元素之和等于特征根
之和。
28
主成分选择
总方差中属于第 i 主成分 yi（或被 yi 所解释)的比例为
i
i 1
p
i
1 , 2 , p
称为主成分 yi 的贡献率。 第一主成分 y1 的贡献率最大，表明它解释原始变量 x1 , x2 ,, x p 的能力最强，而 y2 , y3 ,, y p的解释能力依次 递减。 主成分分析的目的就是为了减少变量的个数，因而一般 是不会使用所有 p 个主成分的，忽略一些带有较小方差 的主成分将不会给总方差带来大的影响。
第四步：计算所选出的 k个主成分的得分。将原始数据的
中心化值:
X Xi X x1i x1，x2i x2， ，x pi x p
* i
T
代入前k个主成分的表达式，分别计算出各单位k个主成 分的得分，并按得分值的大小排队。
35
课堂作业：实例参数
该实例符合三维高斯分布，具体参数如
下： 均值向量：μ= [0,5,2]T 协方差矩阵:
PCA实例 软木塞数据集
37
作业
（1）给定Rock数据，请使用PCA方法，找出类 marble和granite的主成分特征集合。
线性判别分析（LDA）
Linear Discriminant Analysis
引入
主要内容
一、LDA介绍
则实对称阵 A 属于不同特征根所对应的特征向 量是正交的，即有 UU UU I
27
3、均值
E (UT x) UT M
4、方差为所有特征根之和
？
Var ( F )
i 1 i
1
p
2 2 2 2 p 1 2 p
说明主成分分析把P个随机变量的总方差分解成为P
1 0 0 2 1 U AU 0 0
其中
0 0 p p p
i , i 1.2. p