主成分分析法的原理应用及计算步骤
统计学中的主成分分析

统计学中的主成分分析主成分分析(Principal Component Analysis, PCA)是一种多变量分析方法,用于降维和数据可视化。
它通过将原始数据转换为新的坐标系,使得转换后的数据能够保留原始数据的主要变化趋势,并且可以按照重要性进行排序。
在本文中,将介绍主成分分析的原理、应用场景和步骤。
一、主成分分析原理主成分分析的核心是寻找数据中的主要变化趋势,即找到数据中的主成分。
主成分是数据最大方差方向上的投影,也即是能够解释数据中最大不同的变量。
对于一个具有p个变量的数据集,主成分分析可以得到p个主成分,按照重要性递减排序。
通过选择适当数量的主成分,可以实现对数据的降维和可视化。
主成分分析的计算过程可以通过特征值分解或奇异值分解来实现。
特征值分解会得到数据的特征向量和特征值,而奇异值分解则可以直接得到主成分。
在实际应用中,奇异值分解是更常用的方法。
二、主成分分析的应用场景主成分分析广泛应用于各个领域,包括金融、生物学、社会科学等。
下面将介绍主成分分析在这些领域的具体应用。
1. 金融:主成分分析常用于资产组合管理和风险管理。
通过将各种金融数据进行主成分分析,可以获得具有代表性的主成分,从而有效降低资产组合的维度,减少投资组合中的相关风险。
2. 生物学:主成分分析可以应用于基因表达数据的分析。
通过主成分分析,可以从大量的基因表达数据中提取出基因表达的主要变化趋势,帮助研究人员理解基因与表型之间的关系。
3. 社会科学:主成分分析可以用于社会调查数据的分析。
通过对调查数据进行主成分分析,可以发现不同变量之间的相关性,进而揭示不同因素对于社会问题的影响程度。
三、主成分分析的步骤主成分分析的步骤通常包括以下几个步骤:1. 数据标准化:对原始数据进行标准化处理,将不同量级的变量转化为标准差为1的变量。
这一步骤是为了消除变量间的量纲差异。
2. 计算协方差矩阵:根据标准化后的数据计算协方差矩阵,用于度量变量之间的相关性。
PCA主成分分析原理及应用

PCA主成分分析原理及应用主成分分析的原理是通过对数据矩阵进行特征值分解,找到使得方差最大化的主成分。
具体步骤如下:1.标准化数据:对原始数据进行标准化处理,使得每个维度具有相同的尺度。
2.计算协方差矩阵:计算标准化后的数据的协方差矩阵。
协方差矩阵描述了不同维度之间的相关性。
3.特征值分解:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
特征值代表了各个主成分的重要程度,特征向量表示了相应特征值对应的主成分。
4.主成分选择:根据特征值的大小,选择前k个特征向量作为主成分。
通常,选择特征值大于平均特征值的一些阈值(如1)作为截断标准。
5.数据转换:将原始数据与所选的主成分构成的矩阵相乘,得到降维后的数据。
这相当于将原始数据投影到主成分所构成的子空间中。
PCA广泛应用于数据预处理、特征提取和数据可视化等领域。
1.数据预处理:PCA可以通过降低维度,过滤噪声和冗余特征,减少计算时间和资源消耗。
例如,在图像处理中,PCA可以用来处理图像中的噪声、压缩图像和实现图像的重建。
2.特征提取:PCA可以帮助寻找最能代表数据集的主要特征。
通过提取主成分,可以减少特征维度,提高模型的训练和预测效率。
在机器学习任务中,PCA常被用于特征选择和特征降维。
3.数据可视化:PCA能够将高维数据映射到二维或三维空间,帮助我们理解和发现数据中的模式和规律。
通过可视化降维后的数据,我们可以更好地理解数据的结构和关系。
虽然PCA具有许多优点,但也存在一些限制。
首先,PCA假设数据是线性相关的,对于非线性关系的数据可能效果不佳。
其次,PCA可能无法解释数据中的复杂关系,因为它只能提取线性相关性。
最后,PCA对异常值和噪声敏感,可能影响到主成分的提取结果。
总之,PCA作为一种常用的数据降维技术,具有广泛的应用前景。
通过保留数据集的主要特征,PCA可以提高数据处理和模型性能,并帮助我们更好地理解和分析数据。
主成分分析法的步骤和原理[技巧]
![主成分分析法的步骤和原理[技巧]](https://img.taocdn.com/s3/m/b03d7b9baef8941ea76e0598.png)
主成分分析法的步骤和原理[技巧](一)主成分分析法的基本思想主成分分析(Principal Component Analysis)是利用降维的思想,将多个变量转化为少数几个综合变量(即主成分),其中每个主成分都是原始变量的线性组合,各主成分之间互不相关,从而这些主成分能够反映始变量的绝大部分信息,[2]且所含的信息互不重叠。
采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点,引进多方面的财务指标,但又将复杂因素归结为几个主成分,使得复杂问题得以简化,同时得到更为科学、准确的财务信息。
(二)主成分分析法代数模型假设用p个变量来描述研究对象,分别用X,X…X来表示,这p个变量12p t构成的p维随机向量为X=(X,X…X)。
设随机向量X的均值为μ,协方差矩12p阵为Σ。
假设 X 是以 n 个标量随机变量组成的列向量,并且μk 是其第k个元素的期望值,即,μk= E(xk),协方差矩阵然后被定义为:Σ=E{(X-E[X])(X-E[X])}=(如图对X进行线性变化,考虑原始变量的线性组合:Z1=μ11X1+μ12X2+…μ1pXpZ2=μ21X1+μ22X2+…μ2pXp…… …… ……Zp=μp1X1+μp2X2+…μppXp主成分是不相关的线性组合Z,Z……Z,并且Z是X1,X2…Xp的线性组12p1 合中方差最大者,Z是与Z不相关的线性组合中方差最大者,…,Zp是与Z,211Z ……Z都不相关的线性组合中方差最大者。
2p-1(三)主成分分析法基本步骤第一步:设估计样本数为n,选取的财务指标数为p,则由估计样本的原始数据可得矩阵X=(x),其中x表示第i家上市公司的第j项财务指标数据。
ijm×pij 第二步:为了消除各项财务指标之间在量纲化和数量级上的差别,对指标数据进行标准化,得到标准化矩阵(系统自动生成)。
第三步:根据标准化数据矩阵建立协方差矩阵R,是反映标准化后的数据之间相关关系密切程度的统计指标,值越大,说明有必要对数据进行主成分分析。
主成分分析法原理及应用

主成分分析法原理及应用主成分分析的基本思想是将高维数据转化为一个新的低维坐标系,新的坐标系由特征向量构成。
特征向量是通过对数据矩阵进行特征值分解得到的,每一个特征向量都代表数据的一个主成分,同时也代表了原始数据在该主成分上的投影。
通过选择前N个主成分,可以将原始数据的维度从D维降低到N维。
1.对原始数据进行标准化处理,即将每个维度上的数据减去其均值并除以标准差;2.构建数据的协方差矩阵;3.对协方差矩阵进行特征值分解,得到特征向量和特征值;4.将特征值按降序排列,选择前N个特征向量作为主成分。
1.数据降维:主成分分析可以将高维数据降低到低维空间中,从而减少数据的维度。
这对于处理高维数据而言非常重要,可以减少计算复杂度,并且有助于解决维度灾难问题。
2.特征提取:主成分分析可以通过选择前N个主成分来提取最具代表性的特征。
这对于处理大规模数据集、挖掘数据的基本模式和结构非常有用。
3.数据可视化:主成分分析可以将多维数据映射到二维或三维的空间中。
这样做可以简化数据的可视化和分析过程,帮助人们更好地理解数据的结构和关系。
4.噪声过滤:主成分分析可以通过去除数据的主成分中的低方差部分来剔除数据中的噪声。
这对于提高数据质量和预测性能非常有帮助。
5.数据预处理:主成分分析可以用于数据的预处理,比如去除冗余特征、去除缺失值等。
通过去除无关和缺失的特征,可以提高后续分析的准确性和效率。
总之,主成分分析是一种非常实用的数据分析技术。
它可以帮助人们更好地理解数据的结构和关系,并从中提取有用的信息。
在实际应用中,人们可以根据具体的需求和问题选择适当的主成分数目,以获得最佳的结果。
主成分分析法的原理应用及计算步骤57270

一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠与高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单与最直接的解决方案就是削减变量的个数,但这必然又会导致信息丢失与信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:↓主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
↓主成分能够反映原有变量的绝大部分信息因子并不就是原有变量的简单取舍,而就是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
↓主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
↓主成分具有命名解释性总之,主成分分析法就是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析就是数学上对数据降维的一种方法。
其基本思想就是设法将原来众多的具有一定相关性的指标X1,X2,…,XP(比如p 个指标),重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp 所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
(完整版)主成分分析法的步骤和原理

(一)主成分分析法的基本思想主成分分析(Principal Component Analysis )是利用降维的思想,将多个变量转化为少数几个综合变量(即主成分),其中每个主成分都是原始变量的线性组合,各主成分之间互不相关,从而这些主成分能够反映始变量的绝大部分信息,且所含的信息互不重叠。
[2]采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点,引进多方面的财务指标,但又将复杂因素归结为几个主成分,使得复杂问题得以简化,同时得到更为科学、准确的财务信息。
(二)主成分分析法代数模型假设用p 个变量来描述研究对象,分别用X 1,X 2…X p 来表示,这p 个变量构成的p 维随机向量为X=(X 1,X 2…X p )t 。
设随机向量X 的均值为μ,协方差矩阵为Σ。
对X 进行线性变化,考虑原始变量的线性组合: Z 1=μ11X 1+μ12X 2+…μ1p X pZ 2=μ21X 1+μ22X 2+…μ2p X p…… …… ……Z p =μp1X 1+μp2X 2+…μpp X p主成分是不相关的线性组合Z 1,Z 2……Z p ,并且Z 1是X 1,X 2…X p 的线性组合中方差最大者,Z 2是与Z 1不相关的线性组合中方差最大者,…,Z p 是与Z 1,Z 2 ……Z p-1都不相关的线性组合中方差最大者。
(三)主成分分析法基本步骤第一步:设估计样本数为n ,选取的财务指标数为p ,则由估计样本的原始数据可得矩阵X=(x ij )m ×p ,其中x ij 表示第i 家上市公司的第j 项财务指标数据。
第二步:为了消除各项财务指标之间在量纲化和数量级上的差别,对指标数据进行标准化,得到标准化矩阵(系统自动生成)。
第三步:根据标准化数据矩阵建立协方差矩阵R ,是反映标准化后的数据之间相关关系密切程度的统计指标,值越大,说明有必要对数据进行主成分分析。
其中,R ij (i ,j=1,2,…,p )为原始变量X i 与X j 的相关系数。
主成分分析法的原理应用及计算步骤

主成分分析法的原理应用及计算步骤1.计算协方差矩阵:首先,我们需要将原始数据进行标准化处理,即使每个特征都有零均值和单位方差。
假设我们有m个n维样本,数据集为X,标准化后的数据集为Z。
那么,计算协方差矩阵的公式如下:Cov(Z) = (1/m) * Z^T * Z其中,Z^T为Z的转置。
2.计算特征向量:通过对协方差矩阵进行特征值分解,可以得到特征值和特征向量。
特征值表示了新坐标系中每个特征的重要性程度,特征向量则表示了数据在新坐标系中的方向。
将协方差矩阵记为C,特征值记为λ1, λ2, ..., λn,特征向量记为v1, v2, ..., vn,那么特征值分解的公式如下:C*v=λ*v计算得到的特征向量按特征值的大小进行排序,从大到小排列。
3.选择主成分:从特征向量中选择与前k个最大特征值对应的特征向量作为主成分,即新坐标系的基向量。
这些主成分可以解释原始数据中大部分的方差。
我们可以通过设定一个阈值或者看特征值与总特征值之和的比例来确定保留的主成分个数。
4.映射数据:对于一个n维的原始数据样本x,通过将其投影到前k个主成分上,可以得到一个k维的新样本,使得新样本的方差最大化。
新样本的计算公式如下:y=W*x其中,y为新样本,W为特征向量矩阵,x为原始数据样本。
PCA的应用:1.数据降维:PCA可以通过主成分的选择,将高维数据降低到低维空间中,减少数据的复杂性和冗余性,提高计算效率。
2.特征提取:PCA可以通过寻找数据中的最相关的特征,提取出主要的信息,从而减小噪声的影响。
3.数据可视化:通过将数据映射到二维或三维空间中,PCA可以帮助我们更好地理解和解释数据。
总结:主成分分析是一种常用的数据降维方法,它通过投影数据到一个新的坐标系中,使得投影后的数据具有最大的方差。
通过计算协方差矩阵和特征向量,我们可以得到主成分,并将原始数据映射到新的坐标系中。
PCA 在数据降维、特征提取和数据可视化等方面有着广泛的应用。
主成分分析法的原理和步骤

主成分分析法的原理和步骤主成分分析(Principal Component Analysis,简称PCA)是一种常用的多元统计分析方法,它通过线性变换将高维数据转换为低维数据,从而实现降维和数据可视化。
PCA的基本思想是通过选取少数几个主成分,将原始变量的方差最大化,以便保留大部分的样本信息。
下面我将详细介绍PCA的原理和步骤。
一、主成分分析的原理主成分分析的核心原理是将n维的数据通过线性变换转换为k维数据(k<n),这k维数据是原始数据最具有代表性的几个维度。
主成分是原始数据在新坐标系中的方向,其方向与样本散布区域最大的方向一致,而且不同主成分之间互不相关。
也就是说,新的坐标系是通过原始数据的协方差矩阵的特征值分解得到的。
具体来说,假设我们有一个m个样本、维度为n的数据集X,其中每个样本为一个n维向量,可以表示为X=\left ( x_{1},x_{2},...,x_{m} \right )。
我们的目标是找到一组正交的基变量(即主成分)U=\left ( u_{1},u_{2},...,u_{n} \right ),使得原始数据集在这组基变量上的投影方差最大。
通过对协方差矩阵的特征值分解,可以得到主成分对应的特征向量,也就是新的基变量。
二、主成分分析的步骤主成分分析的具体步骤如下:1. 标准化数据:对于每一维度的数据,将其减去均值,然后除以标准差,从而使得数据具有零均值和单位方差。
标准化数据是为了消除不同维度上的量纲差异,确保各维度对结果的影响是相等的。
2. 计算协方差矩阵:对标准化后的数据集X,计算其协方差矩阵C。
协方差矩阵的元素c_{ij}表示第i维度与第j维度之间的协方差,可以用以下公式表示:\[c_{ij}=\frac{\sum_{k=1}^{m}\left ( x_{ik}-\bar{X_{i}} \right )\left( x_{jk}-\bar{X_{j}} \right )}{m-1}\]其中,\bar{X_{i}}表示第i维度的平均值。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
F1 a11 X1 a21 X 2 ... a p1 X p
,由数学知识可知,每一个主成分所提取的信息量可
用其方差来度量,其方差 Var(F1)越大,表示 F1 包含的信息越多。常常希望第 一主成分 F1 所含的信息量最大,因此在所有的线性组合中选取的 F1 应该是 X1, X2,…,XP 的所有线性组合中方差最大的,故称 F1 为第一主成分。如果第一主 成分不足以代表原来 p 个指标的信息,再考虑选取第二个主成分指标 F2,为有 效地反映原信息,F1 已有的信息就不需要再出现在 F2 中,即 F2 与 F1 要保持独 立、不相关,用数学语言表达就是其协方差 Cov(F1, F2)=0,所以 F2 是与 F1 不
U1 称为第一主成分,U2 称为第二主成分,…,Up 称为第 p 主成分。 5 、对 m 个主成分进行综合评价 对 m 个主成分进行加权求和,即得最终评价值,权数为每个主成分的方差贡献率。
一、主成分分析基本原理 概念: 主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析 方法。从数学角度来看,这是一种降维处理技术。 思路:一个研究对象,往往是多要素的复杂系统。变量太多无疑会增加分析 问题的难度和复杂性, 利用原变量之间的相关关系,用较少的新变量代替原来较 多的变量, 并使这些少数变量尽可能多的保留原来较多的变量所反应的信息,这 样问题就简单化了。 原理:假定有 n 个样本,每个样本共有 p 个变量,构成一个 n×p 阶的数据 矩阵,
l (Zi ,X j ) i aij (i 1, 2,
, m; j 1, 2,
, p)
在 SPSS 软件中主成分分析后的分析结果中, “成分矩阵”反应的就是主成分 载荷矩阵。 (5)计算主成分得分 计算样品在 m 个主成分上的得分:
Fi a1i X1 a2i X 2 ... a pi X p
x2,…xP , 的所有线性组合中方差最大者。 新变量指标 z1, z2, …, zm 分别称为原变量指标 x1, x2, …, xP 的第 1, 第 2, …, 第 m 主成分。 从以上的分析可以看出,主成分分析的实质就是确定原来变量 xj ( j=1 , 2 ,…, p)在诸主成分 zi(i=1,2,…,m)上的荷载 lij( i=1,2,…,m; j=1,2 ,…,p) 。 从数学上可以证明, 它们分别是相关矩阵 m 个较大的特征值所对应的特征向 量。 二、主成分分析的计算步骤 1、计算相关系数矩阵
r11 r12 r1 p r r22 r2 p 21 R rp1 rp 2 rpp
rij(i,j=1,2,…,p)为原变量 xi 与 xj 的相关系数, rij=rji,其计算公
式为
rij
(x
k 1 n k 1
n
ki
其中 2、对标准化阵 Z 求相关系数矩阵
,得标准化阵 Z。
其中,
。
3、解样本相关矩阵 R 的特征方程
得 p 个特征根,确定主成分
按 Rb = λjb 得单位特征向量 。
确定 m 值,使信息的利用率达 85%以上,对每个 λj, j=1,2,...,m, 解方程组
4、将标准化后的指标变量转换为主成分
i i / i
i 1 m
(3)选择主成分 最终要选择几个主成分,即 F1,F2,……,Fm 中 m 的确定是通过方差(信息) 累计贡献率 G(m)来确定
G (m) i / k
i 1 k 1 m p
当累积贡献率大于 85%时,就认为能足够反映原来变量的信息了,对应的 m 就是抽取的前 m 个主成分。 (4)计算主成分载荷 主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互关联程度,原来变量 Xj(j=1,2 ,…, p)在诸主成分 Fi(i=1,2,…,m)上的荷载 lij( i=1, 2,…,m; j=1,2 ,…,p) 。 :
i 1 p
可根据 i 的大小来提取主成分。每一个主成分的组合系数(原变量在该主成分 上的载荷) ai 就是相应特征值 i 所对应的单位特征向量。
主成分分析法的计算步骤
1、原始指标数据的标准化采集 p 维随机向量 x = (x1,X2,...,Xp)T)n 个样品 xi = (xi1,xi2,...,xip)T ,i=1,2,…,n, n>p,构造样本阵,对样本阵元进行如下标准化变换:
P(Z k ,xi ) k aki (i, 1, 2,
, p; k 1, 2,
, m)
三、主成分分析法的计算步骤
主成分分析的具体步骤如下: (1)计算协方差矩阵 计算样品数据的协方差矩阵:Σ=(sij)pp,其中
sij 1 n ( xki xi )( xkj x j ) n 1 k 1
i = 1,2,…,m
实际应用时, 指标的量纲往往不同,所以在主成分计算之前应先消除量纲的 影响。消除数据的量纲有很多方法,常用方法是将原始数据标准化,即做如下数 据变换:
* xij
xij x j sj
i 1, 2,..., n; j 1, 2,..., p
其中: x j
1 n 1 n 2 , s ( xij x j ) 2 x ij j n 1 n i 1 i 1
x11 x 211 p x22 x2 p xn 2 xnp
记原变量指标为 x1,x2,…,xp,设它们降维处理后的综合指标,即新变量 为 z1,z2,z3,… ,zm(m≤p),则
z1 l11x1 l12 x2 l1 p x p z2 l21x1 l22 x2 l2 p x p ............ zm lm1 x1 lm 2 x2 lmp x p
一、概述
在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量 反映此课题的信息有一定的重叠, 例如, 高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基 础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。 为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这 必然又会导致信息丢失和信息不完整等问题的产生。为此,人们希望探索一种 更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会 造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数,并已 得到广泛应用的分析方法。 主成分分析以最少的信息丢失为前提, 将众多的原有变量综合成较少几个综 合指标,通常综合指标(主成分)有以下几个特点: 主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建 模,这将大大减少分析过程中的计算工作量。 主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造 成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。 主成分之间应该互不相关 通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数 据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问 题。 主成分具有命名解释性 总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
相关的 X1,X2,…,XP 的所有线性组合中方差最大的,故称 F2 为第二主成分, 依此类推构造出的 F1、 F2、 ……、 Fm 为原变量指标 X1、 X2……XP 第一、 第二、 ……、 第 m 个主成分。 F1 a11 X 1 a12 X 2 ... a1 p X p F a X a X ... a X 2 21 1 22 2 2p p ...... Fm am1 X 1 am 2 X 2 ... amp X p 根据以上分析得知: (1) Fi 与 Fj 互不相关,即 Cov(Fi,Fj) = 0,并有 Var(Fi)=ai’Σai,其 中Σ为 X 的协方差阵 (2)F1 是 X1,X2,…,Xp 的一切线性组合(系数满足上述要求)中方差最 大的,……,即 Fm 是与 F1,F2,……,Fm-1 都不相关的 X1,X2,…,XP 的所有 线性组合中方差最大者。 F1, F2, …, Fm (m≤p) 为构造的新变量指标, 即原变量指标的第一、 第二、 ……、 第 m 个主成分。 由以上分析可见,主成分分析法的主要任务有两点: (1)确定各主成分 Fi(i=1,2,…,m)关于原变量 Xj(j=1,2 ,…, p) 的表达式,即系数 aij ( i=1,2,…,m; j=1,2 ,…,p) 。从数学上可以证 明,原变量协方差矩阵的特征根是主成分的方差,所以前 m 个较大特征根就代 表前 m 个较大的主成分方差值;原变量协方差矩阵前 m 个较大的特征值 i (这 样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分 Fi 表达式的系数 ai ,为了加以限制,系数 ai 启用的是 i 对应的单位化的特征向量, 即有 ai ' ai = 1。 (2)计算主成分载荷, 主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互 关联程度:
x i )( x kj x j )
n
( xki xi )2 ( xkj x j )2
系数 lij 的确定原则: ①zi 与 zj(i≠j;i,j=1,2,…,m)相互无关; ②z1 是 x1, x2, …, xP 的一切线性组合中方差最大者, z2 是与 z1 不相关的 x1, x2, …, xP 的所有线性组合中方差最大者; zm 是与 z1,z2,……,zm-1 都不相关的 x1,
根据数学公式知道, ①任何随机变量对其作标准化变换后,其协方差与其相 关系数是一回事, 即标准化后的变量协方差矩阵就是其相关系数矩阵。 ②另一方