第四章 主分量分析
主分量分析方法及其在信号去噪中的应用
０ 引 言
主 分 量 分 析ห้องสมุดไป่ตู้法 （ ｒ ｃ ａ ｃ ｍｐ ｎ ｎｓａ ａ ｓ ， Ｃ ｐｉ ｉ ｌ ｏ ｏ ｅ ｔ ｎ ｌ ｉ Ｐ Ａ） ｎｐ ｙｓ
ｘ ＝ Ｅ ， ， ， ＿］ ＸｏＸｌ… ｘ￣１
Ｙ ＝ ［，，，， ， １ ‘ １ ｌ … ｙ ］ ｏ １ 其 中
被称为是基 于 目标统计 特性的最佳 正交变换 ， 主要 应用 于 模 式识别 、 聚类分 析、 数据 压 缩 、 特征 选 取 、 信号 去 噪等方 面 ， 以有 效解决原 始数 据 空 间维数 过 大 、 可 变量 问相 关严 重、 干扰未 知和信 噪 比低 等 问题 。本 文 研究 了 Ｐ Ａ 的基 Ｃ 本原 理及其 在信 号 去 噪 和频 谱 分 析 中 的典 型应 用 ， 利用 Ｄｅ ｈ 语 言编写 了应 用软件 ， ｌ ｉ ｐ 用某 型坦克柴油 机噪声 信号
侍洪波基于独立分量分析ica与小波变换的过程监测方法期刊论文吉林大学学报工学版2004343fengqinxujing小波神经网络故障诊断法在飞机燃油系统中的仿真研究期刊论文航空精密制造技术2011471引证文献2条基于近似零范数的稀疏核主成成分算法期刊论文电子测量技术20139基于样本内主成分分析的潜油电泵偏磨诊断期刊论文仪器仪表学报20127引用本文格式
关 键 问 题 的几 点 指 导性 的建 议 。
关 键 词 ： 号 处理 ； 噪 ； 信 去 主分 量 分 析 ； 法 算
中图 分 类 号 ：Ｔ ３ １ Ｐ ９ 文献 标 识 码 ： Ａ
Ｐｒ ｎ ｉ ａ ｏ ｐ ｎ ｎ ｓ ａ ａ ｙ ｉ ｎ ｔ ｐ ｌｃ ｔｏ ｉ ｃ ｐ ｌｃ ｍ ｏ ｅ ｔ ｎ ｌ ｓ ｓ ａ ｄ ｉｓ ａ ｐ ｉ ａ ｉ ｎ ｉ ｉ ｎ ｌｄ ｎ ｉｉ ｇ ｎ ｓｇ ａ ｅ ｏ ｓｎ
第四章 描述量选择及特征的组合优化
第四章描述量选择及特征的组合优化这一章要讨论的问题与前几章有所不同。
前两章主要讨论模式识别的重要概念，如贝叶斯分类器、线性分类器与非线性分类器等。
在讨论这些设计分类器的方法时，提到有一个样本集，样本集中的样本用一个已经确定的向量来描述，这也就是说对要分类的样本怎样描述这个问题是已经确定的。
例如对苹果与梨的划分，我们使用尺寸、重量和颜色三种度量来描述。
这种度量方法是已经确定好的。
在这种条件下研究用线性分类器好还是非线性分类器好，以及这些分类器的其它设计问题。
这一章要讨论的问题是对已有的特征空间进行改造,着重于研究对样本究竟用什么样的度量方法更好。
譬如上面提到的对苹果与梨用三种度量来描述。
那么是否运用这三种度量是最有效的呢？譬如颜色这一个指标对区分红香蕉苹果与梨很有效。
因为前者是红色，后者是黄色，用这个指标上的差异很容易将红香蕉苹果与梨区分开。
但是如用颜色区分黄香蕉苹果与梨恐怕就会困难得多。
换句话说在这种情况下，这个指标就不很有效了。
可见对分类器设计来说，使用什么样的特征描述事物，也就是说使用什么样的特征空间是个很重要的问题。
这个问题称之为描述量的选择问题，意思是指保留哪些描述量，删除哪些描述量的问题。
但对特征进行删选并不是唯一的方法，这种方法也不一定很有效，因此本章还要研究其它方面，由于对特征空间进行改造目的在于提高其某方面的性能，因此又称特征的优化问题。
对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间，降维主要有两种途径：一种是删选掉一些次要的特征，问题在于如何确定特征的重要性，以及如何删选。
另一种方法是使用变换的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维，这两种方法的区分要弄清楚。
学习目的1．了解特征空间的选择在设计模式识别系统，解决模式识别具体问题中是至关重要的。
2．了解描述量选择，特征组合优化的两种基本方法，一是对原特征空间进行删选，另一种是通过变换改造原特征空间。
主成分分析法
主成分分析法一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。
主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。
二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。
这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。
我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。
任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。
如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。
由这一点来看，一项指标在个体间的变异越大越好。
因此我们把“变异大”作为“好”的标准来寻求综合指标。
例1、考察对象股票业绩（这里单个股票为观察个体）。
（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。
因此对单个股票来说，用11个随机变量综合刻化。
但这些因素过多，各因素区别不明显，有交叉反映。
通过主成分分析，可降为少数几个综合指标加以刻化。
（2）考察20支不同的股票。
从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。
三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？1、主成分的一般定义设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X，样本标准差记为S1，S2，…，Sp 。
主成分分析
引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。
主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。
通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。
这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。
本文用主成分分析的方法对某市14 家企业的经济效益进行分析。
[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。
主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。
而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。
因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。
一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。
[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。
成分分析,主成分分析
成分分析与主成分分析一、概述主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差- 协方差结构。
人们自然希望变量个数较少而得到的信息较多。
在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。
主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
科标分析中心作为权威的第三方检测机构为客户提供一系列的成分分析、主成分分析、全成分分析、比例分析。
原理设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。
应用学科主成分分析作为基础的数学分析方法，其实际应用十分广泛，比如人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等学科中均有应用，是一种常用的多变量分析方法。
成分分析成分分析（包含成分检测、成分测试项目）是通过微观谱图对未知成分进行分析的技术方法，因该技术普遍采用光谱，色谱，能谱，热谱，质谱等微观谱图。
二、内容基本思想主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
主成分分析是把几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关的一种数学降维的方法。
三、主成分分析的目的：是希望用较少的变量去解释原来资料中的大部分变量，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。
主成分分析
主成分分析科技名词定义中文名称：主成分分析英文名称：principal component analysis定义：一种统计方法，它对多变量表示数据点集合寻找尽可能少的正交矢量表征数据信息特征。
应用学科：地理学（一级学科）；数量地理学（二级学科）以上内容由全国科学技术名词审定委员会审定公布百科名片主成分分析（Principal Component Analysis，PCA），将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。
又称主分量分析。
在实际课题中，为了全面分析问题，往往提出很多与此有关的变量（或因素），因为每个变量都在不同程度上反映这个课题的某些信息。
主成分分析首先是由K.皮尔森对非随机变量引入的，尔后H.霍特林将此方法推广到随机向量的情形。
信息的大小通常用离差平方和或方差来衡量。
目录主成分分析内容展开主成分分析内容展开编辑本段主成分分析简介在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。
人们自然希望变量个数较少而得到的信息较多。
在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。
主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
原理设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。
应用学科主成分分析作为基础的数学分析方法，其实际应用十分广泛，比如人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等学科中均有应用，是一种常用的多变量分析方法。
成分分析成分分析（包含成分检测、成分测试项目）是通过微观谱图对未知成分进行分析的技术方法，因该技术普遍采用光谱，色谱，能谱，热谱，质谱等微观谱图，行业内统称为“微谱分析”。
主成分分析法总结
主成分分析法：简介在用统计分析方法研究多变量的课题时，变量个数太多就会增加课题的复杂性。
人们自然希望变量个数较少而得到的信息较多。
在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。
主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
原理设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法。
应用学科主成分分析作为基础的数学分析方法，其实际应用十分广泛，比如人口统计学、数量地理学、分子动力学模拟、数学建模、数理分析等学科中均有应用，是一种常用的多变量分析方法。
基本思想主成分分析基本思想：主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。
因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
主成分分析
2.主成分的总方差 由于
tr ( A ) = tr ( T′ΣT ) = tr ( ΣTT′ ) = tr ( Σ )
故
∑ λ = ∑σ
i =1 i i =1
p
p
ii
或
∑V ( y ) = ∑V ( x )
i =1 i i =1 i
p
p
总方差中属于第 i 主成分 yi（或被 yi 所解释)的比例 为
ˆ 三、从R 出发求主成分
ˆ ˆ* ˆ* ˆ R 的 p 个特征值为λ1* ≥ λ2 ≥ L ≥ λ p， 设样本相关阵 ˆ* ˆ 2 ˆ t1 , t * ,L , t *p 为相应的正交单位特征向量，则第 i 样本
主成分
ˆ ˆi yi* = t*x* , i = 1, 2,L , p
其中 x* 是各分量经（样本）标准化了的向量，即
S
主成分得分 在实际应用中，我们常常让 x j 减去 x ，使样本数据 中心化。这不影响样本协差阵 S ，在前面的论述中 惟一需要变化的是，将第 i 主成分改写成中心化的 形式，即
ˆ ˆi yi = t′ ( x − x ) , i = 1, 2,L , p 若将各观测值 x j 代替上式中的观测值向量 x ，则第i
现比较本例中从R 出发和例7.2.2中从 Σ 出发的主成 分计算结果。从R 出发的 y1* 的贡献率0.705明显小于 从 Σ 出发的 y1的贡献率0.938，事实上，原始变量方 差之间的差异越大，这一点也就倾向于越明显， * * * （7.2.15）式有助于我们理解之。 y1 , y2 , y3 可用标准 化前的原变量表达如下： x3 − µ3 x1 − µ1 x2 − µ2 *
主成分的值
ˆi ˆ y ji = t′ ( x j − x ) , i = 1, 2,L , p