第五章 主成分分析x
第五节 主成分分析
•
•
其中Li为p维正交化向量（Li*Li=1），zi之间互 不相关且按照方差由大到小排列，则称Zi为X的第 I个主成分。设X的协方差矩阵为Σ，则Σ必为半正 定对称矩阵，求特征值λi（按从大到小排序）及 其特征向量，可以证明，λi i所对应的正交化特征 向量，即为第I个主成分Zi所对应的系数向量Li， 而Zi的方差贡献率定义为λi/Σλj,通常要求提取的主 成分的数量k满足Σλk/Σλj>0.85。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
68.337 95.416 62.901 86.624 91.394 76.912 51.274 68.831 77.301 76.948 99.265 118.505 141.473 137.761 117.612 122.781
0.408 0.255 -0.755 0.069 -0.93 -0.046 0.156 -0.078 -0.109 -0.031 0.744 0.094 -0.924 0.073
（2）由相关系数矩阵计算特征值，以及各个 主成分的贡献率与累计贡献率（见表 3.5.2）。由表3.5.2可知，第一，第二，第 三主成分的累计贡献率已高达86.596% （大于85%），故只需要求出第一、第二、 第三主成分z1，z2，z3即可。
8.128 8.135 18.352 16.861 18.279 19.793 4.005 9.11 19.409 11.102 4.383 10.706 11.419 9.521 18.106 26.724
4.065 4.063 2.645 5.176 5.643 4.881 4.066 4.484 5.721 3.133 4.615 6.053 6.442 7.881 5.789 7.162
主成分分析法精华讲义及实例
主成分分析类型：一种处理高维数据的方法。
降维思想：在实际问题的研究中，往往会涉及众多有关的变量。
但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。
一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。
一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。
记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。
设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩ （1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。
1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 1.3 总体主成分的性质1.3.1 主成分的协方差矩阵及总方差记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=由此得主成分的总方差为111()()()()(),p ppTTiii i i i Var Y tr P P tr PP tr Var X λ=====∑=∑=∑=∑∑∑即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差1()pii Var X =∑分解成 p 个互不相关变量 Y 1，Y 2，…，Y p 的方差之和，即1()pii Var Y =∑而 ()k k Var Y λ=。
主成分分析讲解范文
主成分分析讲解范文下面我们来具体讲解主成分分析的步骤和原理：1.数据预处理在进行主成分分析之前，需要对原始数据进行预处理，包括去除噪声、处理缺失值和标准化等操作。
这些操作可以使得数据更加准确和可靠。
2.计算协方差矩阵协方差矩阵是衡量各个变量之间相关性的指标。
通常，我们会对数据进行标准化处理，使得各个变量具有相同的尺度。
然后，计算标准化后的数据的协方差矩阵。
3.计算特征值和特征向量通过对协方差矩阵进行特征分解，可以得到特征值和特征向量。
其中，特征值表示新坐标系中的投影方差，特征向量表示新坐标系的方向。
4.选择主成分根据特征值的大小，我们可以按照降序的方式选择主成分。
选取一部分较大的特征值所对应的特征向量，即可得到相应的主成分。
这些主成分是原始数据中最重要的成分。
5.生成投影数据通过将原始数据投影到选取的主成分上，即可得到降维后的数据。
每个样本在各个主成分上的投影即为新的特征值。
6.重构数据在需要恢复原始数据时，可以通过将降维后的数据乘以选取的主成分的转置矩阵，再加上原始数据的均值，即可得到近似恢复的原始数据。
主成分分析在实际应用中有很广泛的用途。
首先，它可以用于数据的降维，使得复杂的数据集可以在低维空间中进行可视化和分析。
其次，它可以用于数据的简化和压缩，减少数据存储和计算的成本。
此外，主成分分析还可以用于数据的特征提取和数据预处理，辅助其他机器学习和统计分析方法的应用。
然而，主成分分析也有一些限制和注意事项。
首先，主成分分析假设数据具有线性关系，对于非线性关系的数据可能失效。
其次，主成分分析对于离群值敏感，需要对离群值进行处理。
另外，主成分分析得到的主成分往往是原始数据中的线性组合，不易解释其具体含义。
总之，主成分分析是一种常用的降维数据分析方法，通过寻找新的投影空间，使得数据的方差最大化，实现数据的降维和简化。
它可以应用于数据可视化、数据压缩和特征提取等方面，是数据分析和机器学习中常用的工具之一、在应用主成分分析时，需要注意数据的预处理和对主成分的解释和理解。
主成分分析法及其应用PPT课件
x4 -0.34 0.644 0.07 1 0.383 0.069 -0.05 -0.031 0.073
x5 0.309 0.42 -0.74 0.383 1
0.734 0.672 0.098 0.747
x6 0.408 0.255 -0.755 0.069 0.734
1 0.658 0.222 0.707
演讲人：XXXXXX 时 间：XX年XX月XX日
荷的平方
三个主成分的
占方差的百分数
“占方差的百分
z1
z2
z3
（%）
数:各个主成分提 取了第i个指标的
x1
0.739
-0.532 -0.0061
82.918
“效率”之和， 它等于各个主成
x2
0.123
0.887 -0.0028
x3
-0.964 0.0096 0.0095
80.191 92.948
分在第i个指标上 的载荷的平方之
x 2：人 均耕地 面积
(ha)
0.352
2 141.5 1.684
3 100.7 1.067
4 143.74 1.336
5 131.41 1.623
x 3：森 林覆盖 率(%)
16.101
x 4：农 民人均 纯收入 (元/人)
192.11
x 5：人 均粮食 产量 (kg/
人)
295.34
x 6：经济 作物占农 作物播面 比例(％)
表3.5.1 相关系数矩阵
x1
x2
x3
x4
x5
x6
x7
x8
x9
x1
1 -0.327 -0.714 -0.336 0.309 0.408 0.79 0.156 0.744
第五章 因子分析和主成分分析
3. 子得分
计算因子得分的途径是用原有变量来描述因子， 第j个因子在第i个样本上的值可表示为： Fji = j1xi1 + j2xi2 +…+ jpxip (j = 1，2，…，k) 式中，xi1，xi2，…，xip分别是第1，2，…，p个原 有变量在第i个样本上的取值，j1，j2，…，jp分别 是第j个因子和第1，2，…，k个原有变量间的因子值 系数。可见，它是原有变量线性组合的结果(与因子 分析的数学模型正好相反)，因子得分可看作各变量 值的加权(j1，j2，…，jp)总和，权数的大小表示了 变量对因子的重要程度。
用数据矩阵X的p个列向量（即p个指标向量）X1， X2，…，Xp作线性组合，得综合指标向量： F1 a11 X 1 a21 X 2 ... a p1 X p F a X a X ... a X 2 12 1 22 2 p2 p ...... Fp a1 p X 1 a2 p X 2 ... a pp X p 简写成： Fi = a1iX1 + ai2X2 +…+apiXp i = 1，2，…，p
2. 因子旋转（正交变换）
所谓因子旋转就是将因子载荷矩阵A右乘一个正交 矩阵T后得到一个新的矩阵A*。它并不影响变量Xi的 共同度hi2，却会改变因子的方差贡献qj2。因子旋转 通过改变坐标轴，能够重新分配各个因子解释原始 变量方差的比例，使因子更易于理解。
设p维可观测向量X满足因子模型：X = AF +ε。T为 正交阵，则因子模型可写为 X = ATT'F +ε = A*F* +ε 其中A* = AT，F* = T'F。 易知，∑ = AA' + D = A*A*' + D（其中A* = AT）。这 说明，若A，D是一个因子解，任给正交阵T，A* = AT， D也是因子解。在这个意义下，因子解是不惟一的。 由于因子载荷阵是不惟一的，所以可对因子载荷 阵进行旋转。目的是使因子载荷阵的结构简化，使 载荷矩阵每列或行的元素平方值向0和1两极分化， 这样的因子便于解释和命名。
主成分分析方法
主成分分析方法主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维技术，它可以将高维数据转化为低维数据，同时保留数据的主要特征。
主成分分析方法在数据挖掘、模式识别、图像处理等领域被广泛应用，本文将介绍主成分分析的基本原理、算法步骤和应用场景。
1. 基本原理。
主成分分析的基本原理是通过线性变换将原始的特征空间转换为新的特征空间，新的特征空间是由原始特征的线性组合构成的，这些线性组合被称为主成分。
主成分分析的目标是找到能够最大程度保留原始数据信息的主成分，从而实现数据的降维。
2. 算法步骤。
主成分分析的算法步骤如下：（1）标准化数据，对原始数据进行标准化处理，使得每个特征的均值为0，方差为1。
（2）计算协方差矩阵，根据标准化后的数据计算特征之间的协方差矩阵。
（3）计算特征值和特征向量，对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
（4）选择主成分，按照特征值的大小，选择最大的k个特征值对应的特征向量作为主成分。
（5）数据转换，利用选定的主成分进行数据转换，将原始数据映射到新的低维空间中。
3. 应用场景。
主成分分析方法在实际应用中具有广泛的场景，例如：（1）数据可视化，通过主成分分析可以将高维数据转化为二维或三维数据，便于数据的可视化展示和分析。
（2）特征提取，在图像处理和模式识别领域，主成分分析可以用于提取图像的主要特征，从而实现图像的压缩和识别。
（3）数据预处理，在机器学习和数据挖掘任务中，主成分分析可以用于数据的降维处理，减少特征的数量和复杂度，提高模型的训练效率和预测准确度。
总结。
主成分分析是一种重要的数据分析方法，它通过线性变换将高维数据映射到低维空间，从而实现数据的降维和特征提取。
在实际应用中，主成分分析具有广泛的应用场景，能够帮助人们更好地理解和分析数据。
希望本文的介绍能够帮助读者更好地理解主成分分析方法，并在实际工作中加以应用。
(完整版)主成分分析法的原理应用及计算步骤...doc
zm
lm1x1
lm 2x2
lmpxp
系数lij的确定原 ：
①zi与zj（i≠j；i，j=1，2，⋯，m）相互无关；
②z1是x1，x2，⋯，xP的一切 性 合中方差最大者，z2是与z1不相关的x1，x2，⋯，xP的所有 性 合中方差最大者；zm是与z1，z2，⋯⋯，zm－1都不相关的x1，x2，⋯xP， 的所有 性 合中方差最大者。
标准化后的变量的协方差矩阵就是原变量的相关系数矩阵 。 也就是说， 在标准化前后变量的相关系数矩阵不变化。
根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：☆计算相关系数矩阵
☆求出相关系数矩阵的特征值i及相应的正交化单位特征向量ai
与原 量Xj之 的相互
关 程度：
( ,
xi
)
(
, 1,2,
L
, ;
1,2,
L
, )
P Zk
kakii
p k
m
三、主成分分析法的计算步骤
主成分分析的具体步 如下：
（1） 算 方差矩
算 品数据的 方差矩 ：Σ=(sij)pp，其中
1
n
i，j=1，2，⋯，p
sij
( xki
xi)( xkj
xj)
n
1k 1
解特征方程
I
R 0
，常用雅可比法（Jacobi）求出特征 ，并使其按大
小 序排列1
2
p
0；
p
1,2, L , p)
2
e ( i
分 求出 于特征
i
的特征向量
什么是主成分分析精选全文
可编辑修改精选全文完整版主成分分析（principal component analysis, PCA）如果一组数据含有N个观测样本，每个样本需要检测的变量指标有K个, 如何综合比较各个观测样本的性质优劣或特点？这种情况下，任何选择其中单个变量指标对本进行分析的方法都会失之偏颇，无法反映样本综合特征和特点。
这就需要多变量数据统计分析。
多变量数据统计分析中一个重要方法是主成份分析。
主成分分析就是将上述含有N个观测样本、K个变量指标的数据矩阵转看成一个含有K维空间的数学模型，N个观测样本分布在这个模型中。
从数据分析的本质目的看，数据分析目标总是了解样本之间的差异性或者相似性，为最终的决策提供参考。
因此，对一个矩阵数据来说，在K维空间中，总存在某一个维度的方向，能够最大程度地描述样品的差异性或相似性(图1)。
基于偏最小二乘法原理，可以计算得到这个轴线。
在此基础上，在垂直于第一条轴线的位置找出第二个最重要的轴线方向，独立描述样品第二显著的差异性或相似性；依此类推到n个轴线。
如果有三条轴线，就是三维立体坐标轴。
形象地说，上述每个轴线方向代表的数据含义，就是一个主成份。
X、Y、Z轴就是第1、2、3主成份。
由于人类很难想像超过三维的空间，因此，为了便于直观观测，通常取2个或者3个主成份对应图进行观察。
图（1）PCA得到的是一个在最小二乘意义上拟合数据集的数学模型。
即，主成分上所有观测值的坐标投影方差最大。
从理论上看，主成分分析是一种通过正交变换，将一组包含可能互相相关变量的观测值组成的数据，转换为一组数值上线性不相关变量的数据处理过程。
这些转换后的变量，称为主成分（principal component, PC）。
主成分的数目因此低于或等于原有数据集中观测值的变量数目。
PCA最早的发明人为Karl Pearson，他于1901年发表的论文中以主轴定理（principal axis theorem）衍生结论的形式提出了PCA的雏形，但其独立发展与命名是由Harold Hotelling于1930年前后完成。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
多元统计分析方法
基本思想
主成分分析方法就是在尽可能多的保留原数据信 息的前提下，实现对高维数据降维。
主成分分析过程实质上是对原坐标系进行平移和旋 转变换，使得新坐标的原点与原数据点的重心重合， 新坐标系的第一轴与原数据变异的最大方向对应， 新坐标系的第二轴与第一轴标准正交，并且对应于 数据变异的第二大方向……依此类推。 这些新轴分别被称为第一主轴y1，第二主轴y2…… 若经舍弃少量信息后，主轴y1，y2, ……,ym(m＜p) 能够十分有效地表示原数据的变异情况，则原来p维 空间降致m维空间。
第五章 主成分分析
•§5.1 主成分分析的基本思想与理论 •§5.2 主成分分析的几何意义 •§5.3 总体主成分及其性质 •§5.4 样本主成分的导出 •§5.5 有关问题的讨论 •§5.6 主成分分析步骤及框 图 •§5.7 主成分分析的上机实 现
引子
假定你是一个公司的财务经理，掌握了公 司的所有数据，这包括
§5.2 主成分分析的几何意义
经过这样的旋转之后， 个样品点在 轴上的离 散程度最大，变量 代表了原始数据绝大部分信息， 这样，有时在研究实际问题时，即使不考虑变量 也无损大局。
因此，经过上述旋转变换就可以把原始数据的 信息集中到 轴上，对数据中包含的信息起到了浓 缩的作用。进行主成分分析的目的就是找出转换矩 阵 ，而进行主成分分析的作用与几何意义也就很 明了了。
经过主成分分析计算，最后选择两个主成分 作为综合评价经济效益的依据，变量数由9 个减少到2个，而且更容易进行经济解释。 这两个主成分代表的信息可达92.6％。
多元统计分析方法
第一主成分反映工业生产中投入的资金、劳力所 产生的效益，它是“投入”与“产出”之比。 第一主成分所占信息量已是信息总量的72.8％, 从而可知在我国目前企业效益主要反映在投入 产出比上。
征根的彼此正交的特征向量。这样，求主成分的问题就变成了
求特征根与特征向量的问题。
§5.3.1 总体主成分
（二）主成分的性质
性质1 的协方差阵为对角阵 。
这一性质可由上述结论容易得到，证明略。
性质2 记
，有
证明：记
则有
于是
§5.3.1 总体主成分
定义 5.1 称 差贡献率，称
为主成分
为第 个主成分 的方 的累积贡献率。
基于上述问题，人们就希望在定量研究中涉及的变量较 少，而得到的信息量又较多。
§5.1.1 主成分分析的基本思想
在保留原始变量主要信息的前提下起到降维与简化问题 的作用，使得在研究复杂问题时更容易抓住主要矛盾。一 般地说，利用主成分分析得到的主成分与原始变量之间有 如下基本关系：
1.每一个主成分都是各原始变量的线性组合 2.主成分的数目大大少于原始变量的数目 3.主成分保留了原始变量绝大多数信息 4.各主成分之间互不相关
由此进一步可知，主成分分析是把个 随机变量的总方差
分解为 个不相关的随机变量的方差之和，使第一主成分的方差
达到最大，第一主成分是以变化最大的方向向量各分量为系数
的原始变量的线性函数，最大方差为 。
表明了 的方差
在全部方差中的比值，称 为第一主成分的贡献率。这个值越
大，表明
这个新变量综合
信息的能力越强，
如果第一主成分不足以代表原所有p个变量，则考虑第二个 主成分： C2=w21X1+w22X2+ … +w2pXp，
要求使 Var(C2)最大；
约束条件： w212+w222+ … +w2p2=1 Cov(C1,C2)=0
为零C，ov目(C的1,是C2为)=了0即使第C一1中、已第有二的主信成息分不的在协C方2中差出（现相。关结系果数是） 在与第一个向量垂直的所有方向中，找到一个使得所有个体在 其上的投影与在其它方向上的投影相比最为分散。
（1）
，即 为 阶正交阵；
（2） 的分量之间互不相关；
（3） 的 个分量是按方差由大到小排列。
最大方差理论
那么左右两条中哪个好呢？
§5.3.1 总体主成分
于是随机向量 与随机向量 之间存在下面的关系式： （5.4）
注：无论 的各特征根是否存在相等的情况，对应的标准化
特征向量
总是存在的，我们总可以找到对应各特
主成分的性质 ： 主成分C1，C2，…，Cp具有如下几个性质：
(1) 主成分间互不相关，即对任意i和j，Ci 和Cj的相关
系数Corr(Ci，Cj)=0
ij
(2) 组合系数(wi1，wi2，…，wip)构成的向量为单位向量 ，
wi12+wi22+ … +wip2=1
(3) 各主成分的方差是依次递减的， 即 Var(C1)≥Var(C2)≥…≥Var(Cp)
§5.1.1 主成分分析的基本思想
通过主成分分析，可以从事物之间错综复杂的 关系中找出一些主要成分，从而能有效利用大量 统计数据进行定量分析，揭示变量之间的内在关 系，得到对事物特征及其发展规律的一些深层次 的启发，把研究工作引向深入。
§5.1.2 主成分分析的基本理论
设对某一事物的研究涉及个 指标，分别用 示，这个 指标构成的 维随机向量为 机向量 的均值为 ，协方差矩阵为 。
他原本在华盛顿大学主修新闻学，但后 来转向数学作拓扑领域之相关研究，并 于1924年获得博士学位。 他在主成分分 析和正准相关的发展上也扮演重要的角 色。 1972年他被选为美国国家科学研究院的 院士， 1973年12月26日，卒于北卡罗 来纳的教堂山。
主成分分析是利用降维的思想，在损失很少 信息的前提下把多个指标转化为几个综合指标 的多元统计方法。
我们作如下定义： (1) 若C1=w11X1+w12X2+ … +w1pXp，
且使 Var(C1)最大，则称C1为第一主成分；
加约但束系条数件w：若无w1限12+制w可12使2+V…ar+(Cw11)p无2=限1 大，故
向量组，合代系表数p维（空w间11,中w的12,一…个w方1p向），可相看当作于一全个 部n个个体在该方向上的一个投影。要求 V使a得r(C所1)有最个大体就在是该要方找向一上个的最投“影好最”为的分方散向。，
通常把转化生成的综合指标称之为主成分， 其中每个主成分都是原始变量的线性组合，且 各个主成分之间互不相关，这就使得主成分比 原始变量具有某些更优越的性能。
更容易抓住主要矛盾，揭示事物内部变量之 间的规律性，同时使问题得到简化，提高分析 效率。
这种将多个指标转化为少数互相无关的综合指标的统计 方法叫做主成分分析或主分量分析。 主成分分析的两大目标： 1、减少变量的个数（“降维”） 2、使变量间不相关
§5.3 总体主成分及其性质
由上面的讨论可知，求解主成分的过程就是
求满足三条原则的原始变量
的线性组
合的过程。本节先从总体出发，介绍求解主成分
的一般方法及主成分的性质，然后介绍样本主成
分的导出。
主成分的推导
定理1 若A是p×p阶实对称阵，则一定可以找到正交阵U使
定理2 反之若U是上述矩阵A的特征根所对应的单位特征向
§5.4 样本主成分的导出
为样本协方差矩阵，作为总体协方差阵 的无偏估计， 是样 本相关矩阵，为总体相关矩阵的估计。由前面的讨论知，若原 始资料 阵是经过标准化处理的，则由矩阵 求得的协方差阵 就是相关矩阵，即 与 完全相同。因为由协方差矩阵求解主成 分的过程与同相关矩阵出发求解主成分的过程是一致的，下面 我们仅介绍由相关阵 出发求解主成分。
§5.1.1 主成分分析的基本思想
在对某一事物进行实证研究中，为了更全面、准确地反 映出事物的特征及其发展规律，人们往往要考虑与其有关系 的多个指标，这些指标在多元统计中也称为变量。
这样就产生了如下问题：一方面人们为了避免遗漏重要 的信息而考虑尽可能多的指标，而另一方面随着考虑指标的 增多增加了问题的复杂性，
多元统计分析方法
简言之，主成分分析的处理思路 1、对原有指标进行线性变换（正交变换），新变量 是原有指标的线性组合，y=U’x
2、新变量间不相关，Cov（yi，yj）=0 i≠j
3、选取的主成分在剩余线性组合中方差最大，
Var（yi）→max i=1，2，…
多元统计分析方法
§5.1 主成分分析的基本思想与理论 §5.1.1 主成分分析的基本思想 §5.1.2 主成分分析的基本理论
量组成的矩阵，
称A不同特征
根对应的特征向
多元统计分析方法
§5.3.1 总体主成分
由以上结论，我们把
的协方差矩阵 的非零特
征值
对应的标准化特征向量
分别
作为系数向量，
分别称为随机向
量 的第一主成分、第二主成分、…、第 主成分。 的分量
依次是 的第一主成分、第二主成分、…、第 主成 分的充分必要条件是：
表 。设随
对 进行线性变换，可以形成新的综合变量，用 表示， 也就是说，新的综合变量可以由原来的变量线性表示，即满 足下式：
§5.1.2 主成分分析的基本理论
Y ,Y ,,Y 基于以上三条原则决定的综合变量
分
别称为原始变量的第一、第二、…、1 第 2个主成分。P
其中，各综合变量在总方差中占的比重依次递减，
在实际研究工作中，通常只挑选前几个方差最大的
主成分，从而达到简化系统结构，抓住问题实质的
目的。
§5.2 主成分分析的几何意义
设有 个样品，每个样品有两个观测变量
，这样，
在由变量 组成的坐标空间中， 个样品点散布的情况如
带状，见图5-1。
图5-1
§5.2 主成分分析的几何意义